Durch einfaches Hinzufügen von Gaußschem Rauschen zu LLMs (ein Schritt – keine Iterationen, keine Lernrate, keine Gradienten) und deren Ensemble kann eine Leistung erzielt werden, die mit der von standardmäßigen GRPO/PPO bei mathematischen Denk-, Programmier-, Schreib- und Chemieaufgaben vergleichbar oder sogar besser ist. Wir nennen diesen Algorithmus RandOpt. Um zu überprüfen, dass dies nicht auf spezifische Modelle beschränkt ist, haben wir ihn an Qwen, Llama, OLMo3 und VLMs getestet. Was steckt dahinter? Wir stellen fest, dass im Gaußschen Suchumfeld um vortrainierte LLMs vielfältige Experten für Aufgaben dicht verteilt sind – ein Regime, das wir Neural Thickets nennen. Papier: Code: Website:

Reinforcement Learning (RL) ist seit langem die dominierende Methode für das Fine-Tuning und treibt viele hochmoderne LLMs an. Methoden wie PPO und GRPO erkunden den Aktionsraum. Aber können wir stattdessen direkt im Parameterraum erkunden? JA, das können wir. Wir schlagen ein skalierbares Framework für das vollständige Parameter-Fine-Tuning mit Evolution Strategies (ES) vor. Durch das Überspringen von Gradienten und die direkte Optimierung im Parameterraum erreicht ES ein genaueres, effizienteres und stabileres Fine-Tuning. Paper: Code: