🏎️ gemma-webgpu: tamamen tarayıcınızda çalışan, sıfır bağımlılıklı, inanılmaz hızlı bir Gemma 1B. Tam titreme telefonumdan kodlandı. 🔥 M4 Mac'te 136.8 tok/s (transformers.js'den 3.3 kat hızlı) 📱 iPhone 17'de 101 tok/s (270M), 34 tok/s (1B) Sıfırdan inşa ettiklerimiz: • 18 el yazısıyla yazılmış WGSL hesaplama shaderı, birleşmiş ops'a sahip (fusedNormAdd her ileri geçişte 36 GPU göndermesi kaydeder) • GPU'da doğrudan dekuantizasyon Q8_0 — Q4'ten daha kaliteli VE daha hızlı. • Aralık isteği akışı yüklemeleri katman katman ağırlık (~44MB chunk) yükler, GPU'ya yüklemeler yapar, JS belleği hemen boşalır. Pik yığını: 1GB model için bile ~50MB • Bu yayın numarası, 1B'nin iPhone'da çalışmasını sağlayan şeydir. RAM'de tam modeli asla tutmaz. 12KB gzip yaptı. Sıfır bağımlılık yok. NPM Gemma-WebGPU Install