نموذج بسعة 24 مليار معامل كان يعمل على لابتوب واختار الأداة المناسبة في أقل من نصف ثانية. القصة الحقيقية هي أن وكلاء استدعاء الأدوات أصبحوا أخيرا سريعين بما يكفي ليشعروا وكأنهم برمجيات. بنيت Liquid LFM2-24B-A2B باستخدام بنية هجينة تمزج بين كتل الالتفاف مع تركيز الاستعلام المجمع بنسبة 1:3. يتم تفعيل 2.3 مليار معلم فقط لكل رمز، رغم أن النموذج الكامل يحتوي على 24 مليار. هذا نمط التفعيل المتقطع هو السبب في أنه يتناسب مع 14.5 جيجابايت من الذاكرة ويرسل الأدوات في 385 مللي ثانية على M4 Max. تم تصميم البنية من خلال البحث في العتاد داخل الحلقة، مما يعني أنهم قاموا بتحسين هيكل النموذج من خلال اختباره مباشرة على الشرائح التي سيعمل عليها. لا توجد طبقة ترجمة سحابية. لا توجد واجهة برمجة تطبيقات (API) ذهابا وإيابا. النموذج والأدوات وبياناتك تبقى على الجهاز. هذا يفتح ثلاثة أشياء كانت غير عملية من قبل: 1. يمكن للصناعات المنظمة تشغيل الوكلاء على أجهزة الكمبيوتر المحمولة للموظفين دون خروج البيانات من الجهاز. 2. يمكن للمطورين إنشاء نماذج أولية لسير العمل متعدد الأدوات دون إدارة مفاتيح API أو حدود المعدل. 3. تحصل فرق الأمن على سجلات تدقيق كاملة دون وجود معالجات فرعية من البائعين في الحلقة. حقق النموذج دقة 80٪ في اختيار أداة خطوة واحدة عبر 67 أداة عبر 13 خادم MCP. إذا استمر هذا الأداء على نطاق واسع، فهناك افتراضان بحاجة إلى تحديث. أولا، لم تعد الوكيلات على الجهاز مجرد مقايضة بعمر البطارية؛ إنها ميزة امتثال. ثانيا، الاختناق في سير العمل الوكيلي يتحول من قدرة النماذج إلى نضج النظام البيئي للأدوات.

عمل مذهل من: @liquidai @ramin_m_h