🚨 Bilgisayarınızın gerçekten çalıştırabileceği yapay zeka modelini tahmin etmeyi bırakın. Bu araç donanımınızı tarar ve tam olarak hangi LLM'lerin çalışacağını söyler. Bir emir. Buna llmfit deniyor. 497 modeli. 133 sağlayıcı. RAM, CPU ve GPU'yu kontrol ediyor, sonra her modeli uygun modellere göre sıralıyor. Artık 70B modelini sadece çöküşünü izlemek için indirmek yok. İşte ne yapıyor: → Tam donanımınızı (NVIDIA, AMD, Intel Arc, Apple Silicon) tespit eder → Hafızanıza en uygun kuantizasyonu seçer → Her modeli kalite, hız, uyum ve bağlam uzunluğu açısından puanlar → Çok GPU kurulumlarını ve MoE mimarilerini otomatik olarak yönetir → Ollama'ya bağlanıyor, böylece en iyi eşleşmeyi anında indirebilirsiniz İşte en çılgın kısım: Mixtral 8x7B'nin toplam parametreleri 46,7B olarak belirlenir. Çoğu araç 24GB VRAM gerektiğini düşünüyor. Ancak her token için sadece 12.9B parametre aktiftir. Llmfit bunu biliyor. Gerçek gereksinimi ~6.6GB olarak puanlıyor. Bu özellik bile insanların çalıştıramayacağını düşündüğü modelleri açıyor. Brew install llmfit 6.5K GitHub yıldızı. Pas içinde inşa edilmiş. MIT Lisansı. %100 Açık Kaynak.