🚨 Ngừng đoán xem mô hình AI nào mà máy tính của bạn thực sự có thể chạy. Công cụ này quét phần cứng của bạn và cho bạn biết chính xác mô hình LLM nào sẽ hoạt động. Chỉ một lệnh. Nó được gọi là llmfit. 497 mô hình. 133 nhà cung cấp. Nó kiểm tra RAM, CPU và GPU của bạn, sau đó xếp hạng từng mô hình theo những gì phù hợp. Không còn phải tải xuống một mô hình 70B chỉ để xem nó bị treo. Đây là những gì nó làm: → Phát hiện phần cứng chính xác của bạn (NVIDIA, AMD, Intel Arc, Apple Silicon) → Chọn độ lượng tốt nhất phù hợp với bộ nhớ của bạn → Đánh giá từng mô hình về chất lượng, tốc độ, độ phù hợp và độ dài ngữ cảnh → Xử lý các thiết lập multi-GPU và kiến trúc MoE tự động → Kết nối với Ollama để bạn có thể tải xuống mô hình phù hợp nhất ngay lập tức Đây là phần thú vị nhất: Mixtral 8x7B có tổng cộng 46.7B tham số. Hầu hết các công cụ nghĩ rằng bạn cần 24GB VRAM. Nhưng chỉ có 12.9B tham số là hoạt động cho mỗi token. llmfit biết điều này. Nó đánh giá yêu cầu thực tế khoảng ~6.6GB. Chỉ một tính năng đó đã mở khóa các mô hình mà mọi người nghĩ rằng họ không thể chạy. brew install llmfit 6.5K sao trên GitHub. Được xây dựng bằng Rust. Giấy phép MIT. 100% Mã nguồn mở.