Luulen, että vihdoin joku kirjoitti selvästi sen, mitä olen ajatellut jo pitkään. Kiitos @getjonwithit tästä ketjusta. Tämä näkökulma avaa hyvin mielenkiintoisia uusia haasteita. Miten voimme todella tehokkaasti kommunikoida matematiikkaa ja fysiikkaa keskenään? Grothendieckin modernin algebrallisen geometrian keksiminen on yksi merkittävä esimerkki erittäin menestyksekkäästä pakkausprosessista. Sattumalta olemme viime aikoina nähneet valtavan parannuksen LLM:issä algebran ja lukuteorian alalla.

Aloitin viime viikolla kurssin tietojenkäsittelytieteen pääaineopiskelijoille neuroverkoista. Suunnitelmani on siirtyä varhaisista klassikoista (McCulloch–Pitts, Rosenblatt) kaikkien merkkilehteen liittyvien kehitysten kautta aina Attention Is All You Need -lehteen. Rakennamme ymmärrystä erittäin yksityiskohtaisen matemaattisen analyysin kautta käsitteistä, runsaiden numeeristen kokeiden ja käytännön kokemuksen kautta jokaisesta määrittelemästämme käsitteestä. Täytyy myöntää, etten odottanut nauttivani näin paljon verkostojen painojen säätämisestä, ydinperiaatteiden sisäistämisestä ja puhtaasti kokeilemisesta. Olen jo rakentanut ensimmäisen erän muistiinpanoja ja sovelluksia ensimmäisen kuukauden kokeilujen ajaksi. Ehdotukset ja ideat ovat erittäin tervetulleita. Pidän muistiinpanoni avoimina kaikille, joten olen utelias, onko jossain epätarkkuuksia tai ilmeisiä kohtia, jotka olisin saattanut jättää huomaamatta.

Eilisestä lähtien olen työskennellyt yhteistyökumppanini Piotr Pokoran kanssa hirsipintoihin liittyvän ongelman parissa. Yritimme selvittää, miten etsiä mahdollisten viirikonfiguraatioiden kombinatorisesta avaruudesta sileällä neljännellä alueella, jotta niin sanottu Chernin kaltevuus saataisiin maksimoimaan. Numeerisesti olemme tehneet monia esimerkkejä, ja kuuluisa Fermatin kvarttinen x^4 + y^4 + z^4 + w^4 = 0 on tällä hetkellä ennätyksen haltija kaltevuudella (= 8/3) tietylle 16 suoran konfiguraatiolle (ks. artikkelimme). Tämä oli odotettu maksimi, jota olemme yrittäneet voittaa tai todistaa viimeiset kaksi vuotta. Tänään ajoin GPT Pron yläversion ongelman käyttäen vahvaa kehottetta, joka sisälsi paljon yksityiskohtia ongelmasta ja koko artikkelimme tekstin. Sain hyvin mielenkiintoisen oivalluksen: käyttää sekoitettua lineaarista ohjelmointia. Tämä lähestymistapa päihittää voimatekniikat, mukaan lukien simuloidun annealingin, selvästi. Emme olleet itse nähneet sitä, mutta malli löysi tämän oivalluksen ja selitti, miten kirjoittaa tehokasta koodia SciPy:llä. Nyt ymmärrän, että meitä on toimistossa kolme: kaksi ihmistä ja yksi agenttinen järjestelmä, jolla on taitoja ja huomattavaa laskentatehoa. Taidot ovat yhä tärkeämpiä, ja tämä agenttivaljakko tuottaa hämmästyttäviä tuloksia. Koen, että olen täysin muuttanut näkökulmaani. Pidän edelleen yhteistyöstä ihmisten kanssa, mutta delegoin malleille syvälliset etsinnät, rohkeiden ideoiden laatimisen ja laajan tutkimisen. Se on yksinkertaisesti nopeampi ja tehokkaampi. Ja edistys on todellista. Meillä on nyt konkreettinen tie eteenpäin.