Čím víc se ponořuji do výzkumu Goodfire, tím víc si uvědomuji, jak se tato oblast interpretability tiše mění v jednu z nejzajímavějších oblastí v AI (a zejména AI pro vědu) Tento výzkum publikovali loni s hlavní myšlenkou, jak model DNA vnitřně organizuje druhy ve svém prostoru zanoření tak, aby odrážel skutečný evoluční strom života. nebo v podstatě jak model znovuobjevil fylogenezi čistě na základě sekvencí DNA. studovali Evo 2 (DNA model vyvinutý EvolutionaryScale) a zjistili, že: + genom každého druhu je mapován na vektor vložený uvnitř modelu. + tato vnoření tvoří zakřivenou geometrickou strukturu (varietu). + vzdálenosti podél této variety odpovídají skutečné evoluční vzdálenosti mezi druhy. Takže uvnitř modelu: Podobné druhy → těsně zapuštěných vrstev vzdálené druhy → vzdálených zapuštění A struktura, která vzniká, je v podstatě strom života. To by mohlo být průlomové, jak mohou základní modely automaticky znovu objevovat vědecké struktury.

Pokud jste Claud Code/Opus 4.6-pilled, může to znít šíleně, ale CC je nejhorší postroj pro Opus 4.6 s přesností 58 % Děkuji za vaši pozornost k této záležitosti.

Díval jsem se na spoluzakladatele AMI a zřejmě to trochu působí jako verze Thinking Machines.