Iemand heeft net de Neural Engine van Apple omzeild om modellen te trainen. De Neural Engine in elke M-serie Mac is ontworpen voor inferentie. Voer modellen uit, train ze niet. Geen openbare API, geen documentatie, en zeker geen backpropagation. Een onderzoeker heeft de privé-API's toch omgekeerd en een transformer-trainingslus gebouwd die vooruit- en achteruitgangen direct op de ANE-hardware uitvoert. De methode omzeilt CoreML volledig. In plaats van de officiële tools van Apple te gebruiken, construeert het project programma's in MIL (Model Intermediate Language), compileert ze in het geheugen met behulp van niet gedocumenteerde `_ANEClient` API's, en voedt gegevens via IOSurface gedeelde geheugenbuffers. Gewichten worden als constanten in de gecompileerde programma's gebakken. E Elke trainingsstap dispatcht zes aangepaste kernels: aandacht vooruit, feedforward vooruit, en dan vier achteruitgangen die gradiënten met betrekking tot invoer berekenen. Gewichtgradiënten draaien nog steeds op de CPU met behulp van de matrixbibliotheken van Accelerate, maar het zware werk (matrixvermenigvuldigingen, softmax, activatiefuncties) gebeurt op de ANE. Dit maakt drie dingen mogelijk die daarvoor niet konden: 1. Het lokaal trainen van kleine modellen zonder je batterij leeg te trekken 2. Fijn afstemmen op het apparaat zonder gegevens naar een server te sturen of de GPU op te starten 3. Onderzoek naar wat de ANE-hardware daadwerkelijk kan doen wanneer je de beveiligingsmaatregelen van Apple negeert Als deze aanpak opschaalt, stopt de volgende golf van on-device AI met het draaien van iemands bevroren model.

Alibaba heeft vier Qwen 3.5 kleine modellen verzonden met een truc geleend van hun 397B model: Gated DeltaNet hybride aandacht. Drie lagen lineaire aandacht voor elke laag volledige aandacht. De lineaire lagen verwerken routinematige berekeningen met constant geheugengebruik. De lagen met volledige aandacht worden alleen geactiveerd wanneer precisie belangrijk is. Deze 3:1 verhouding houdt het geheugen vlak terwijl de kwaliteit hoog blijft, wat de reden is dat zelfs het 0.8B model een contextvenster van 262.000 tokens ondersteunt. Elk model verwerkt tekst, afbeeldingen en video op een native manier. Geen adapter die er achteraf op is gemonteerd. De visie-encoder gebruikt 3D-convoluties om beweging in video vast te leggen, en voegt vervolgens kenmerken van meerdere lagen samen in plaats van alleen de laatste. De 9B verslaat GPT-5-Nano met 13 punten op multimodale begrip, 17 punten op visuele wiskunde, en 30 punten op document parsing. De 0.8B draait op een telefoon en verwerkt video. De 4B past in 8GB VRAM en fungeert als een multimodale agent. Alle vier zijn Apache 2.0. Als deze architectuur standhoudt, is de ruimte voor kleine modellen net een capaciteitsrace geworden in plaats van een grootte-race. Een jaar geleden betekende het lokaal draaien van een multimodaal model een 13B+ model en een serieuze GPU. Nu verwerkt een 4B model met 262K context tekst, afbeeldingen en video vanaf consumentenharde schijven. De kloof tussen edge-modellen en vlaggenschipmodellen sluit sneller dan de kloof tussen vlaggenschepen en mensen.

Zou het mogelijk zijn om het bereik van accounts die herhaaldelijk worden gemeld voor desinformatie te beperken? Je zou Community Notes of Grok kunnen gebruiken om straffen bij te houden. Ik ondersteun de vrijheid van meningsuiting, maar wanneer een account met 1 miljoen volgers opzettelijk valse informatie verspreidt die 25 miljoen impressies bereikt, heeft dat echte gevolgen. @nikitabier