Model s 24 miliardami parametrů právě běžel na notebooku a vybral správný nástroj za méně než půl sekundy. Skutečný příběh je, že agenti volající nástroje se nakonec stali dost rychlími, aby působili jako software. Liquid postavil LFM2-24B-A2B pomocí hybridní architektury, která kombinuje konvoluční bloky s seskupenou pozorností dotazů v poměru 1:3. Aktivuje se pouze 2,3 miliardy parametrů na token, i když celý model pojme 24 miliard. Tento řídký vzor aktivace je důvodem, proč se vejde do 14,5 GB paměti a nástroje se odesílají za 385 milisekund na M4 Max. Architektura byla navržena pomocí hardware-in-the-loop vyhledávání, což znamená, že optimalizovali strukturu modelu testováním přímo na čipech, na kterých by běžela. Žádná cloudová překladová vrstva. Žádná API zpáteční cesta. Model, nástroje a vaše data zůstávají na stroji. To odemkne tři věci, které dříve nebyly praktické: 1. Regulovaná odvětví mohou provozovat agenty na zaměstnaneckých noteboocích, aniž by data opustila zařízení. 2. Vývojáři mohou prototypovat multitoolové workflow bez nutnosti spravovat API klíče nebo rychlostní limity. 3. Bezpečnostní týmy mají kompletní auditní stopy bez zapojení dodavatelských subprocesorů. Model dosáhl 80% přesnosti při jednokrokovém výběru nástrojů napříč 67 nástroji na 13 MCP serverech. Pokud tento výkon obstojí ve velkém měřítku, je třeba aktualizovat dva předpoklady. Za prvé, agenti na zařízení už nejsou kompromisem v životnosti baterie; Jsou to funkce pro dodržování předpisů. Za druhé, úzké hrdlo v agentických pracovních postupech se posouvá od schopnosti modelu k vyspělosti ekosystému nástrojů.

Úžasná práce od: @liquidai @ramin_m_h