Tento týden je Complex Systems s @philipkiely, který nedávno napsal knihu (doslova) o inferenčním inženýrství. Diskutovali jsme, jak vypadá přijetí AI jako inženýrské záležitosti v podnicích.

Stále si myslím, že chatovací aplikace jsou a) mezi nejexplozivnějšími jednotlivými aplikacemi, které kdy byly na trhu uvedeny, a b) většinou jde o technologickou ukázku skutečného produktu, kterým je API. Je to transformativní primitivní jako if příkazy a for-loopy.

Na rozdíl od if příkazů a for-loopů se zde vytváří middleware vrstva, částečně kvůli rychlosti změn v podkladovém substrátu, který (což je pro technologii zvláštní) není striktně pozitivní. A tak raději než si trhat vlasy, když vyjde aktualizace modelu...

... Tým, který má na starosti nasazení inteligence ve velkém měřítku, může například mít automatizované benchmarkování různých modelů vůči různým úkolům, které máte, spouštět předchozí požadavky vůči novému vyzyvateli a automaticky je hodnotit, a pak automaticky posunout vítěze.

Hodně z toho připomíná adaptivní zavádění infrastruktury za pochodu, což mi přijde trochu sci-fi.

Myslím, že na Twitteru je asymetrická viditelnost případů využití AI pro prosumery, včetně moderních programovacích nástrojů (které jsou ekonomicky nejdůležitějším vývojem LLM... dosud). Uvedení do podniku bude zpožděné, ale ne o deset let, a bude vypadat jinak.

Méně "dejme tomu všechno do schránek a YOLO", více pilotních projektů, více obchodních aplikací se postupně transformovalo, a pak to ve druhé generaci začíná být opravdu divné, když začnete přemýšlet: "Jak by ten obchodní proces vypadal, když ho navrhneme kolem existujících LLM?"