🚨 Przestań zgadywać, który model AI twój komputer może faktycznie uruchomić. To narzędzie skanuje twój sprzęt i dokładnie mówi, które LLM-y będą działać. Jedno polecenie. Nazywa się llmfit. 497 modeli. 133 dostawców. Sprawdza twoją pamięć RAM, CPU i GPU, a następnie ocenia każdy model według tego, co pasuje. Koniec z pobieraniem modelu 70B tylko po to, aby zobaczyć, jak się zawiesza. Oto, co robi: → Wykrywa twój dokładny sprzęt (NVIDIA, AMD, Intel Arc, Apple Silicon) → Wybiera najlepszą kwantyzację, która pasuje do twojej pamięci → Ocena każdego modelu pod względem jakości, szybkości, dopasowania i długości kontekstu → Obsługuje automatycznie konfiguracje z wieloma GPU i architektury MoE → Łączy się z Ollama, abyś mógł natychmiast pobrać najlepsze dopasowanie Oto najdziksza część: Mixtral 8x7B ma 46.7B całkowitych parametrów. Większość narzędzi myśli, że potrzebujesz 24GB VRAM. Ale tylko 12.9B parametrów jest aktywnych na token. llmfit to wie. Ocena rzeczywistego wymogu wynosi ~6.6GB. Ta jedna funkcja sama w sobie odblokowuje modele, które ludzie myśleli, że nie mogą uruchomić. brew install llmfit 6.5K gwiazdek na GitHubie. Zbudowane w Rust. Licencja MIT. 100% Open Source.