Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-5,55%
USELESS
USELESS-4,72%
IKUN
IKUN-6,22%
gib
gib-1,94%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-3,5%
ALON
ALON-0,62%
LAUNCHCOIN
LAUNCHCOIN+1,25%
GOONC
GOONC-5,38%
KLED
KLED-9,21%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,68%
Boopa
Boopa+6,13%
PORK
PORK0,00%
header
Nikhil Thorat
Ocena i monitorowanie MLflow GenAI w Databricks. Współzałożyciel Lilac AI (przejętej przez @databricks). Współtworzyłem TensorFlow.js i Know Your Data @ Google Brain
Nikhil Thorat
Nikhil Thorat14 mar, 00:47
🏎️ gemma-webgpu: zero-zależności, błyskawicznie szybki Gemma 1B działający całkowicie w Twojej przeglądarce. Cały vibe zakodowany z mojego telefonu komórkowego. 🔥 136,8 tok/s na M4 Mac (3,3x szybciej niż transformers.js) 📱 101 tok/s na iPhone 17 (270M), 34 tok/s (1B) Co zbudowaliśmy od podstaw: • 18 ręcznie napisanych shaderów obliczeniowych WGSL z połączonymi operacjami (fusedNormAdd oszczędza 36 wywołań GPU na każdy krok do przodu) • Dequantyzacja Q8_0 bezpośrednio na GPU — wyższa jakość niż q4 I szybsza • Strumieniowe ładowanie wag w zakresie warstwa po warstwie (~44MB kawałki), przesyłanie do GPU, natychmiastowe zwalnianie pamięci JS. Szczytowa pamięć: ~50MB nawet dla modelu 1GB • Ten trick strumieniowy to to, co pozwala 1B działać na iPhone. nigdy nie trzyma pełnego modelu w RAM 12KB skompresowane gzipem. Zero zależności. npm install gemma-webgpu
81