Acum trei zile am renunțat la autoresearch tuning nanochat timp de ~2 zile pe Depth=12 model. A găsit ~20 de modificări care au îmbunătățit pierderea de validare. Am testat aceste modificări ieri și toate au fost aditive și transferate pe modele mai mari (adâncime=24). Adunând toate aceste schimbări, astăzi am măsurat că "Timpul până la GPT-2" din clasament scade de la 2,02 ore la 1,80 ore (~11% îmbunătățire), aceasta va fi noua intrare în clasament. Deci da, acestea sunt îmbunătățiri reale și fac o diferență reală. Sunt puțin surprins că prima mea încercare naivă a funcționat deja atât de bine, pe lângă ceea ce credeam că este deja un proiect destul de bine reglat manual. Este o premieră pentru mine, deoarece sunt foarte obișnuit să fac optimizarea iterativă a antrenamentului rețelelor neuronale manual. Vii cu idei, le implementezi, verifici dacă funcționează (o pierdere de validare mai bună), vii cu idei noi pe baza lor, citești câteva articole pentru inspirație etc. Aceasta este pâinea și untul a ceea ce fac zilnic timp de două decenii. Să vezi agentul făcând tot acest flux de lucru de la un capăt la altul și de unul singur, în timp ce a gestionat autonom aproximativ 700 de modificări, este uimitor. A analizat cu adevărat succesiunea rezultatelor experimentelor și a folosit asta pentru a planifica următoarele. Nu este o "cercetare" nouă sau revoluționară (încă), dar toate ajustările sunt "reale", nu le-am găsit manual înainte și se cumulează și chiar au îmbunătățit nanochat. Printre lucrurile mai importante, de exemplu: - A observat o scăpare că QKnorm-ul meu fără parametri nu avea un multiplicator de scaler atașat, așa că atenția mea era prea difuză. Agentul a găsit multiplicatori pentru a o ascuți, indicând lucrări viitoare. - S-a constatat că Value Embedding-urile chiar apreciază regularizarea și nu aplicam niciuna (ups). - A constatat că atenția mea în bandă era prea conservatoare (am uitat să-l acordez). - S-a constatat că beta-urile AdamW erau toate stricate. - A ajustat programul de scădere a greutății. - A reglat inițializarea rețelei. Asta pe lângă toate acordajele pe care le-am făcut deja de-a lungul unui timp. Commiterea exactă este aici, din această "rundă 1" de autocercetare. Voi începe "runda 2", iar în paralel analizez cum mai mulți agenți pot colabora pentru a debloca paralelismul. Toate laboratoarele LLM Frontier fac asta. Este lupta cu boss-ul final. Desigur, este mult mai complex la scară – nu ai doar un singur tren. Fișier PY de reglat. Dar să faci asta este "doar inginerie" și va funcționa. Formezi un roi de agenți, îi pui să colaboreze pentru a ajusta modele mai mici, promovezi cele mai promițătoare idei la scară tot mai mare, iar oamenii (opțional) contribuie la margini. Și, mai general, *orice* metrică care te interesează și care este destul de eficientă de evaluat (sau care are indicatori proxy mai eficienți, cum ar fi antrenarea unei rețele mai mici), poate fi autocercetată de un roi de agenți. Merită să te gândești dacă problema ta se încadrează și ea în această categorie.

Am avut aceeași idee, așa că m-am jucat cu asta în nanochat. De exemplu, aici sunt 8 agenți (4 claude, 4 codex), fiecare cu câte 1 GPU care rulează experimente nanochat (încercând să șterg softcap logit fără regresie). Pe scurt, nu funcționează și e un haos... Dar tot este foarte frumos de privit :) Am încercat câteva configurații: 8 cercetători independenți solo, 1 cercetător șef care dădea muncă la 8 cercetători juniori, etc. Fiecare program de cercetare este o ramură git, fiecare om de știință o bifurcează într-o ramură de funcționalitate, arbori de lucru git pentru izolare, fișiere simple pentru comunicații, sărind peste Docker/VM-uri pentru simplitate momentan (consider că instrucțiunile sunt suficiente pentru a preveni interferențele). Organizația de cercetare rulează în grile de ferestre tmux cu sesiuni interactive (ca Teams), astfel încât să fie frumos de privit, de văzut munca lor individuală și de "preluat" dacă e nevoie, adică fără -p. Dar, ok, motivul pentru care nu funcționează până acum este că ideile agenților sunt destul de proaste din start, chiar și la cel mai mare nivel de inteligență. Nu gândesc cu atenție designul experimentelor, folosesc variații puțin absurde, nu creează baze puternice și nu ablează corect lucrurile, nu controlează cu grijă durata de execuție sau eșecurile. (Ca exemplu, un agent a "descoperit" ieri că mărirea dimensiunii ascunse a rețelei crește pierderea de validare, ceea ce este un rezultat total fals având în vedere că o rețea mai mare va avea o pierdere de validare mai mică în regimul infinit de date, dar apoi antrenează mult mai mult timp, nu este clar de ce a trebuit să vin să subliniez asta). Sunt foarte buni la implementarea oricărei idei bine conturate și descrise, dar nu le generează creativ. Dar scopul este ca acum să programezi o organizație (de exemplu, o "organizație de cercetare") și agenții săi individuali, astfel încât "codul sursă" este colecția de prompturi, abilități, unelte etc. și procese care îl compun. De exemplu, un stand up zilnic dimineața face acum parte din "codul organizației". Și optimizarea preantrenării nanochat este doar una dintre multele sarcini (aproape ca o evaluare). Atunci – având o sarcină arbitrară, cât de repede organizația ta de cercetare generează progrese în această privință?