Tento graf, který oživuje vnitřní fungování Časového horizontu, je opravdu skvělý. od mého supertalentovaného kolegy @CFGeek.

Nová @METR_Evals výzkumná poznámka od @whitfill_parker, @cherylwoooo, Natea Rushe a mě. (hlavně Parker!) zjistili jsme, že *polovina* SWE-bench ověřených řešení z generace AI Sonnet 3.5 až 4.5 *které jsou hodnoceny jako úspěšné* je projektovými správci odmítnuta.

Zkouším to v METR! Prosím, oblíbíte tento tweet nebo mi napište do zpráv, pokud byste měli zájem být respondentem.