Autorecherche pour l'efficacité d'échantillonnage ! J'ai pris l'autorecherche de @karpathy et j'ai changé l'objectif pour minimiser la perte de validation pour un budget fixe de 10 millions de tokens. Je l'ai exécuté toute la nuit et le système a découvert des ajustements qui ont conduit à une amélioration de 14 % par rapport à la référence. C'est fou !
Ce qui a fonctionné et ce qui n'a pas fonctionné.
165