> 385ms keskimääräinen työkaluvalinta. > 67 työkalua 13 MCP-palvelimella. > 14,5GB muistinkanta. > Nolla verkkopuheluita. LocalCowork on tekoälyagentti, joka toimii MacBookilla. Avoin lähdekoodi. 🧵
Paikallisen tekoälyagentin rakentaminen kuulostaa hyvältä, kunnes yrität käyttää sitä koko päivän. Vaikeinta ei ole saada mallia ymmärtämään sinua. Kyse on siitä, että se valitsee oikean työkalun ja tekee sen tarpeeksi nopeasti, jotta kokemus tuntuu interaktiiviselta. Joten testasimme LFM2-24B-A2B:tä kannettavilla tietokoneilla ja rakensimme avoimen lähdekoodin työpöytäagentin nimeltä LocalCowork.
Kaikki toimii paikallisesti: > malli > työkalut > tiedot Ei pilveä. Ei API-avaimia. Mikään ei poistu koneesta.
Arvioimme mallin realistisessa asetelmassa: > 67-työkalut > 13 MCP-palvelinta Tehtäviä kuten tietoturvatarkistukset, asiakirjojen käsittely, tiedostojärjestelmän toiminnot ja järjestelmätyökalut. Kaikki toimivat yhdellä Apple M4 Max -kannettavalla, jossa on 36GB muistia. Tässä kokoonpanossa LFM2-24B-A2B keskimäärin nopeudella oli ~385 ms työkaluvalintavastausta kohden, kun siihen mahtui ~14,5 GB muistia. Se tarkoittaa: > ei lähteviä API-kutsuja > ei valmistajan aliprosessoreita > ei lähde dataa laitteesta
53