Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Lior Alexander
Het laatste ontwikkelingsnieuws in AI behandelen • Founder @AlphaSignalAI (250.000 gebruikers)
ML Eng sinds 2017 • Ex-Mila
Iemand heeft net de Neural Engine van Apple omzeild om modellen te trainen.
De Neural Engine in elke M-serie Mac is ontworpen voor inferentie.
Voer modellen uit, train ze niet. Geen openbare API, geen documentatie, en zeker geen backpropagation.
Een onderzoeker heeft de privé-API's toch omgekeerd en een transformer-trainingslus gebouwd die vooruit- en achteruitgangen direct op de ANE-hardware uitvoert.
De methode omzeilt CoreML volledig.
In plaats van de officiële tools van Apple te gebruiken, construeert het project programma's in MIL (Model Intermediate Language), compileert ze in het geheugen met behulp van niet gedocumenteerde `_ANEClient` API's, en voedt gegevens via IOSurface gedeelde geheugenbuffers.
Gewichten worden als constanten in de gecompileerde programma's gebakken. E
Elke trainingsstap dispatcht zes aangepaste kernels: aandacht vooruit, feedforward vooruit, en dan vier achteruitgangen die gradiënten met betrekking tot invoer berekenen.
Gewichtgradiënten draaien nog steeds op de CPU met behulp van de matrixbibliotheken van Accelerate, maar het zware werk (matrixvermenigvuldigingen, softmax, activatiefuncties) gebeurt op de ANE.
Dit maakt drie dingen mogelijk die daarvoor niet konden:
1. Het lokaal trainen van kleine modellen zonder je batterij leeg te trekken
2. Fijn afstemmen op het apparaat zonder gegevens naar een server te sturen of de GPU op te starten
3. Onderzoek naar wat de ANE-hardware daadwerkelijk kan doen wanneer je de beveiligingsmaatregelen van Apple negeert
Als deze aanpak opschaalt, stopt de volgende golf van on-device AI met het draaien van iemands bevroren model.

Vali Neagu2 mrt, 21:07
JA! Iemand heeft Apple's Neural Engine reverse-engineered en een neuraal netwerk erop getraind.
Apple heeft dit nooit toegestaan. ANE is alleen voor inferentie. Geen openbare API, geen documentatie.
Ze hebben het toch opengebroken.
Waarom het belangrijk is:
• M4 ANE = 6,6 TFLOPS/W vs 0,08 voor een A100 (80× efficiënter)
• "38 TOPS" is een leugen - de werkelijke doorvoer is 19 TFLOPS FP16
• Je Mac mini heeft deze chip die meestal inactief is
Vertaling: lokale AI-inferentie die sneller is EN bijna geen stroom verbruikt.
Het is nog vroeg onderzoek, maar de deur is nu open.
→
#AI #MachineLearning #AppleSilicon #LocalAI #OpenSource #ANE #CoreML #AppleSilicon #NPU #KCORES

631
Alibaba heeft vier Qwen 3.5 kleine modellen verzonden met een truc geleend van hun 397B model: Gated DeltaNet hybride aandacht.
Drie lagen lineaire aandacht voor elke laag volledige aandacht.
De lineaire lagen verwerken routinematige berekeningen met constant geheugengebruik. De lagen met volledige aandacht worden alleen geactiveerd wanneer precisie belangrijk is.
Deze 3:1 verhouding houdt het geheugen vlak terwijl de kwaliteit hoog blijft, wat de reden is dat zelfs het 0.8B model een contextvenster van 262.000 tokens ondersteunt.
Elk model verwerkt tekst, afbeeldingen en video op een native manier.
Geen adapter die er achteraf op is gemonteerd. De visie-encoder gebruikt 3D-convoluties om beweging in video vast te leggen, en voegt vervolgens kenmerken van meerdere lagen samen in plaats van alleen de laatste.
De 9B verslaat GPT-5-Nano met 13 punten op multimodale begrip, 17 punten op visuele wiskunde, en 30 punten op document parsing. De 0.8B draait op een telefoon en verwerkt video. De 4B past in 8GB VRAM en fungeert als een multimodale agent. Alle vier zijn Apache 2.0.
Als deze architectuur standhoudt, is de ruimte voor kleine modellen net een capaciteitsrace geworden in plaats van een grootte-race.
Een jaar geleden betekende het lokaal draaien van een multimodaal model een 13B+ model en een serieuze GPU.
Nu verwerkt een 4B model met 262K context tekst, afbeeldingen en video vanaf consumentenharde schijven.
De kloof tussen edge-modellen en vlaggenschipmodellen sluit sneller dan de kloof tussen vlaggenschepen en mensen.

Qwen2 mrt, 21:18
🚀 Introductie van de Qwen 3.5 Kleine Modelserie
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Meer intelligentie, minder rekenkracht.
Deze kleine modellen zijn gebouwd op dezelfde Qwen3.5 basis — native multimodaal, verbeterde architectuur, geschaalde RL:
• 0.8B / 2B → klein, snel, geweldig voor edge-apparaten
• 4B → een verrassend sterke multimodale basis voor lichte agenten
• 9B → compact, maar al de kloof aan het dichten met veel grotere modellen
En ja — we brengen ook de Basis modellen uit.
We hopen dat dit beter onderzoek, experimentatie en industriële innovatie in de echte wereld ondersteunt.
Hugging Face:
ModelScope:

214
Zou het mogelijk zijn om het bereik van accounts die herhaaldelijk worden gemeld voor desinformatie te beperken?
Je zou Community Notes of Grok kunnen gebruiken om straffen bij te houden.
Ik ondersteun de vrijheid van meningsuiting, maar wanneer een account met 1 miljoen volgers opzettelijk valse informatie verspreidt die 25 miljoen impressies bereikt, heeft dat echte gevolgen.
@nikitabier
159
Boven
Positie
Favorieten
