Ktoś właśnie obejść Neural Engine Apple, aby trenować modele. Neural Engine w każdym Macu z serii M został zaprojektowany do wnioskowania. Uruchamiaj modele, nie trenuj ich. Brak publicznego API, brak dokumentacji, a z pewnością brak wstecznej propagacji. Badacz zreverse'ował prywatne API i zbudował pętlę treningową transformatora, która wykonuje przejścia do przodu i do tyłu bezpośrednio na sprzęcie ANE. Metoda całkowicie omija CoreML. Zamiast korzystać z oficjalnych narzędzi Apple, projekt konstruuje programy w MIL (Model Intermediate Language), kompiluje je w pamięci za pomocą nieudokumentowanych API `_ANEClient` i przesyła dane przez bufor pamięci współdzielonej IOSurface. Wagi są wbudowywane w skompilowane programy jako stałe. E każdy krok treningowy uruchamia sześć niestandardowych rdzeni: uwaga do przodu, feedforward do przodu, a następnie cztery przejścia do tyłu, które obliczają gradienty względem wejść. Gradienty wag nadal działają na CPU przy użyciu bibliotek macierzy Accelerate, ale ciężka praca (mnożenie macierzy, softmax, funkcje aktywacji) odbywa się na ANE. To sprawia, że trzy rzeczy są możliwe, które wcześniej nie były: 1. Trenowanie małych modeli lokalnie bez wyczerpywania baterii 2. Dostosowywanie na urządzeniu bez wysyłania danych na serwer lub uruchamiania GPU 3. Badania nad tym, co sprzęt ANE może naprawdę zrobić, gdy zignorujesz zabezpieczenia Apple Jeśli to podejście się rozwinie, następna fala AI na urządzeniach przestaje dotyczyć uruchamiania zamrożonego modelu kogoś innego.

Alibaba wysłał cztery małe modele Qwen 3.5 z trikiem zapożyczonym z ich modelu 397B: hybrydowa uwaga Gated DeltaNet. Trzy warstwy uwagi liniowej na każdą jedną warstwę pełnej uwagi. Warstwy liniowe obsługują rutynowe obliczenia z stałym zużyciem pamięci. Warstwy pełnej uwagi uruchamiają się tylko wtedy, gdy precyzja ma znaczenie. Ten stosunek 3:1 utrzymuje pamięć na stałym poziomie, podczas gdy jakość pozostaje wysoka, co jest powodem, dla którego nawet model 0.8B obsługuje okno kontekstowe o długości 262 000 tokenów. Każdy model obsługuje tekst, obrazy i wideo natywnie. Nie ma adaptera przyczepionego później. Koder wizji używa 3D konwolucji do uchwycenia ruchu w wideo, a następnie łączy cechy z wielu warstw zamiast tylko z ostatniej. Model 9B pokonuje GPT-5-Nano o 13 punktów w rozumieniu multimodalnym, 17 punktów w matematyce wizualnej i 30 punktów w analizie dokumentów. Model 0.8B działa na telefonie i przetwarza wideo. Model 4B mieści się w 8GB VRAM i działa jako agent multimodalny. Wszystkie cztery są na licencji Apache 2.0. Jeśli ta architektura się utrzyma, przestrzeń małych modeli właśnie stała się wyścigiem możliwości, a nie wyścigiem rozmiarów. Rok temu uruchomienie modelu multimodalnego lokalnie oznaczało model 13B+ i poważną kartę graficzną. Teraz model 4B z kontekstem 262K obsługuje tekst, obrazy i wideo z konsumenckiego sprzętu. Luka między modelami brzegowymi a modelami flagowymi zamyka się szybciej niż luka między flagowymi a ludźmi.

Czy możliwe byłoby ograniczenie zasięgu kont, które są wielokrotnie zgłaszane za dezinformację? Można by użyć Community Notes lub Grok do śledzenia ostrzeżeń. Popieram wolność słowa, ale gdy konto z 1 milionem obserwujących celowo rozpowszechnia fałszywe informacje, które docierają do 25 milionów wyświetleń, ma to realne konsekwencje. @nikitabier