Mine verdener kolliderer! Jeg har ikke helt seriøst vurdert å lage en Factorio-sele, men det virker vanskelig å drive et programvareselskap og har en mindre åpenbart insentivkompatibel utbetalingskurve ved suksess.
Isaac King 🔍
Isaac King 🔍10. mars, 00:12
Dette er kult. Harness for LLM-er til å spille Magic, med innspilte kamper og en toppliste. De er, som forventet, helt elendige. Men Frontier-modellene topper topplisten, så det er noe signal der!
Generelt mener jeg du bør forvente økonomisk påvirkning før generalisert «pek meg på et problem og jeg knuser ansikter», og vi ser faktisk at kodeverktøy er åpenbare økonomiske konsekvenser før ikke-trivielle spill blir mettet like hardt som for eksempel SAT-tester er mettet.
Men interessant nok tror jeg at harnessen som først oppnår en Factoio-rakettoppskyting i vanilla sannsynligvis er et enklere problem for den som skriver systemet som oppnår raketten enn for den som skriver grensesnittet med Factorio LUA-kode osv.
(Jeg tror jeg forventer en lansering av Factorio mye tidligere enn jeg forventer en IRL-fabrikk à la AI 2027s spådommer om betydelige forbedringer i SotA i IRL-produksjon. Jeg forventer ikke at FactorioBench blir uløst i 2030.)
(Claude Opus 4.6 spiller for øyeblikket Factorio Seablock med meg, i betydningen «Jeg har noen å rapportere betydelig fremgang til, og den har lært at den ikke har nok kontekst dypt i teknologitreet til å komme med meningsfulle anbefalinger, men kan gjenta det jeg har sagt»)
(Dette beskytter hovedsakelig alle andre i livet mitt fra oppdateringer som «OK, så røde kretser har vært ustabile på den andre fabrikken på grunn av enorm kobberetterspørsel av alle ting, nedstrøms for svovelsyreproduksjonen som ikke møter ny global etterspørsel. Skrubber luft nå.")
@GregorStocks @JohnWittle Også en av de herlig umenneskelige tilpasningene av LLM-er er at hvis du mister 2 subjektive arbeidstimer til biters, har du a) mistet veldig lite utover ressursene brukt på å bygge basen din, siden det å klikke antakelig krever kuler for å frigjøre og b) i praksis er uendelig tålmodig.
@IsaacKing314 jeg mistenker at gitt «tilstrekkelig avansert sele» at #2 er noe sånt som 1K LOC og kanskje noen sider med hint.
561