Simplemente añadir ruido gaussiano a los LLMs (un solo paso—sin iteraciones, sin tasa de aprendizaje, sin gradientes) y ensamblándolos puede lograr un rendimiento comparable o incluso superior al GRPO/PPO estándar en tareas de razonamiento, programación, escritura y química matemática. A este algoritmo lo llamamos RandOpt. Para verificar que esto no se limita a modelos específicos, lo probamos en Qwen, Llama, OLMo3 y VLM. ¿Qué hay detrás de esto? Encontramos que en la comunidad de búsqueda gaussiana alrededor de LLMs preentrenados, los diversos expertos en tareas están densamente distribuidos — un régimen que denominamos Matorrales Neuronales. Papel: Código: Página web:

El aprendizaje por refuerzo (RL) ha sido durante mucho tiempo el método dominante para el ajuste, impulsando muchos LLM de última generación. Métodos como PPO y GRPO exploran en el espacio de acción. Pero, ¿podemos explorar directamente en el espacio de parámetros? Sí, podemos. Proponemos un marco escalable para el ajuste fino de parámetros completos utilizando Evolution Strategies (ES). Al omitir gradientes y optimizar directamente en el espacio de parámetros, ES logra un ajuste fino más preciso, eficiente y estable. Papel: Código: