🚨 Перестаньте гадать, какую модель ИИ может запустить ваш компьютер. Этот инструмент сканирует ваше оборудование и точно говорит, какие LLM будут работать. Одна команда. Он называется llmfit. 497 моделей. 133 провайдера. Он проверяет вашу оперативную память, процессор и графический процессор, а затем ранжирует каждую модель по тому, что подходит. Больше не нужно загружать модель на 70B, только чтобы увидеть, как она зависает. Вот что он делает: → Определяет ваше точное оборудование (NVIDIA, AMD, Intel Arc, Apple Silicon) → Выбирает лучшую квантизацию, которая подходит вашей памяти → Оценивает каждую модель по качеству, скорости, соответствию и длине контекста → Автоматически обрабатывает многопроцессорные настройки и архитектуры MoE → Подключается к Ollama, чтобы вы могли мгновенно загрузить лучшее соответствие Вот самая дикая часть: Mixtral 8x7B имеет 46.7B параметров в общей сложности. Большинство инструментов думают, что вам нужно 24GB VRAM. Но только 12.9B параметров активны на токен. llmfit это знает. Он оценивает реальные требования на уровне ~6.6GB. Эта одна функция открывает доступ к моделям, которые люди думали, что не могут запустить. brew install llmfit 6.5K звезд на GitHub. Написан на Rust. Лицензия MIT. 100% с открытым исходным кодом.