Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Pare de adivinhar qual modelo de IA seu computador pode realmente executar.
Esta ferramenta analisa seu hardware e diz exatamente quais LLMs funcionarão. Um comando.
Chama-se llmfit.
497 modelos. 133 fornecedores. Ela verifica sua RAM, CPU e GPU, e classifica cada modelo pelo que se encaixa.
Chega de baixar um modelo de 70B apenas para vê-lo travar.
Aqui está o que ela faz:
→ Detecta seu hardware exato (NVIDIA, AMD, Intel Arc, Apple Silicon)
→ Escolhe a melhor quantização que se encaixa na sua memória
→ Avalia cada modelo em qualidade, velocidade, adequação e comprimento de contexto
→ Lida automaticamente com configurações de múltiplas GPUs e arquiteturas MoE
→ Conecta-se ao Ollama para que você possa baixar a melhor correspondência instantaneamente
Aqui está a parte mais impressionante:
Mixtral 8x7B tem 46.7B de parâmetros totais. A maioria das ferramentas acha que você precisa de 24GB de VRAM. Mas apenas 12.9B de parâmetros estão ativos por token. O llmfit sabe disso. Ele classifica a necessidade real em ~6.6GB.
Apenas esse recurso desbloqueia modelos que as pessoas achavam que não poderiam executar.
brew install llmfit
6.5K estrelas no GitHub. Construído em Rust. Licença MIT.
100% Código Aberto.

Top
Classificação
Favoritos
