Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−4,25 %
USELESS
USELESS+5,41 %
IKUN
IKUN−0,67 %
gib
gib+0,95 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−1,21 %
ALON
ALON+1,39 %
LAUNCHCOIN
LAUNCHCOIN+0,76 %
GOONC
GOONC−3,88 %
KLED
KLED−3,45 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,18 %
Boopa
Boopa+4,66 %
PORK
PORK0,00 %
header
Nikhil Thorat
MLflow GenAI:n arviointi ja seuranta Databricksilla. Lilac AI:n toinen perustaja (ostettu @databricks:n toimesta). Olen ollut mukana luomassa TensorFlow.js ja Know Your Data @ Google Brain
Nikhil Thorat
Nikhil Thorat14.3. klo 00.47
🏎️ gemma-webgpu: nollariippuvuus, salamannopea Gemma 1B, joka pyörii kokonaan selaimessasi. Täysi vibe koodattu puhelimestani. 🔥 136,8 tok/s M4 Macilla (3,3 kertaa nopeampi kuin transformers.js) 📱 101 tok/s iPhone 17:llä (270M), 34 tok/s (1B) Mitä rakensimme alusta alkaen: • 18 käsin kirjoitettua WGSL-laskentashaderia, joissa on fused operaatiot (fusedNormAdd tallentaa 36 GPU-lähetystä per eteenpäin suuntautuva lähetys) • Q8_0 dekvantisointi suoraan GPU:lla — laadukkaampi kuin Q4:ssä JA nopeampi • Range request -suoratoisto kuormittaa kerros kerrokselta (~44MB lohkoja), lataa ne GPU:lle, vapauttaa JS-muistin välittömästi. Huippupiste: ~50MB jopa 1GB mallille • Juuri tuo suoratoistotemppu saa 1B:n toimimaan iPhonella. se ei koskaan pidä koko mallia RAM-muistissa 12KB gzip. Ei yhtään riippuvuutta. NPM asenna gemma-webgpu
131