Jednoduše přidání gaussovského šumu do LLM (jeden krok – žádné iterace, žádná rychlost učení, žádné gradienty) a jejich složení může dosáhnout výkonu srovnatelného nebo dokonce lepšího než standardní GRPO/PPO v úlohách z matematického uvažování, programování, psaní a chemie. Tento algoritmus nazýváme RandOpt. Abychom ověřili, že to není omezeno jen na konkrétní modely, testovali jsme to na Qwen, Llama, OLMo3 a VLM. Co je za tím? Zjistili jsme, že v gaussovském hledacím prostředí kolem předtrénovaných LLM jsou různorodí experti na úkoly hustě rozptýleni — režim, který nazýváme Neurální houštiny. Článek: Kód: Web:

Zpětnovazební učení (RL) je již dlouho dominantní metodou pro jemné doladění, která pohání mnoho nejmodernějších LLM. Metody jako PPO a GRPO zkoumají v akčním prostoru. Ale můžeme místo toho zkoumat přímo v prostoru parametrů? Ano, můžeme. Navrhujeme škálovatelný rámec pro doladění plných parametrů pomocí evolučních strategií (ES). Přeskakováním přechodů a optimalizací přímo v prostoru parametrů dosahuje ES přesnějšího, efektivnějšího a stabilnějšího jemného doladění. Papír: Kód: