Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Перестаньте гадати, яку модель ШІ насправді може запускати ваш комп'ютер.
Цей інструмент сканує ваше обладнання і точно показує, які LLM підійдуть. Одна команда.
Це називається LLMFIT.
497 моделей. 133 провайдери. Він перевіряє вашу оперативну пам'ять, процесор і відеокарту, а потім ранжує кожну модель за тим, що підходить.
Більше не потрібно завантажувати модель 70B, щоб дивитися, як вона вилітає.
Ось що вона робить:
→ Виявляє ваше точне обладнання (NVIDIA, AMD, Intel Arc, Apple Silicon)
→ Обирає найкращу квантизацію, яка відповідає вашій пам'яті
→ Оцінює кожну модель за якістю, швидкістю, посадкою та довжиною контексту
→ Автоматично обробляє налаштування з мульти-GPU та архітектури MoE
→ Підключається до Ollama, тож ви можете миттєво завантажити найкращий матч
Ось найдивовижніше:
Mixtral 8x7B має загальні параметри 46,7B. Більшість інструментів вважають, що вам потрібно 24GB VRAM. Але активні лише 12,9 B параметрів на один токен. LLMFIT це знає. Реальна вимога становить ~6,6 ГБ.
Одна функція сама по собі відкриває моделі, які люди думали, що не зможуть запустити.
Brew Install LLMFIT
6,5 тис. зірок на GitHub. Вбудована іржа. Ліцензія MIT.
100% відкритий код.

Найкращі
Рейтинг
Вибране
