Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+4,11 %
USELESS
USELESS+19,05 %
IKUN
IKUN+2,78 %
gib
gib−18,61 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk+7,46 %
ALON
ALON+3,59 %
LAUNCHCOIN
LAUNCHCOIN−4,01 %
GOONC
GOONC+7,02 %
KLED
KLED−4,52 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+3,72 %
Boopa
Boopa+2,89 %
PORK
PORK0,00 %
header
Nikhil Thorat
MLflow GenAI-evaluering og overvåking hos Databricks. Medgründer av Lilac AI (kjøpt opp av @databricks). Medskapt TensorFlow.js og Know Your Data @ Google Brain
Nikhil Thorat
Nikhil Thorat14. mars, 00:47
🏎️ gemma-webgpu: en nullavhengighetsfri, lynrask Gemma 1B som kjører helt i nettleseren din. Full vibe kodet fra mobilen min. 🔥 136,8 tok/s på M4 Mac (3,3 ganger raskere enn transformers.js) 📱 101 tok/s på iPhone 17 (270M), 34 tok/s (1B) Hva vi bygde fra bunnen av: • 18 håndskrevne WGSL compute shaders med fused ops (fusedNormAdd sparer 36 GPU-dispatches per forward pass) • Q8_0 avkvantisering direkte på GPU — høyere kvalitet enn Q4 OG raskere • Strømming av rekkeviddeforespørsler laster lag for lag (~44MB biter), laster opp til GPU, frigjør umiddelbart JS-minne. Maksimal heap: ~50MB selv for 1GB-modellen • Det er denne strømmetrikset som gjør at 1B kjører på iPhone. den har aldri hele modellen i RAM 12KB gzippet. Null avhengigheter. npm installer gemma-webgpu
166