China ist bei der Einführung von KI weit voraus. Eine Schule in Peking hat alte Macs umfunktioniert, um personalisierte KI-Agenten zu 100 % lokal mit @exolabs auszuführen. Die Macs wurden zuvor in ihrem Filmstudienlabor für die Videobearbeitung verwendet. Sie haben ihr gesamtes Schul-Datenkorpus aufgenommen: Lehrpläne, Berichte, Unterrichtsmaterialien und Lernziele - sodass es in Echtzeit auf all ihre Daten abgestimmt ist. Um genaue Antworten zu erhalten, benötigen sie fortschrittliche Modelle, die GROSS sind - der Speicher ist die Einschränkung (nicht FLOPS). Apple-Geräte mit einheitlichem Speicher haben viel schnellen Speicher, sodass das Stapeln von genügend Geräten es ermöglicht, massive Modelle auszuführen. Eine große Sorge von Schulen und Eltern ist der Datenschutz - wenn Schüler oder Lehrer Modelle in der Cloud verwenden, senden sie alle ihre Daten im Klartext an den Modellanbieter. Selbst wenn Schulen Richtlinien dazu haben, besteht immer das Risiko, dass jemand versehentlich sensible Daten in das Modell kopiert - Datenlecks sind unvermeidlich.

Niemand spricht darüber, dass @apple die Preise für das 128GB MacBook Pro gleich hält. Es gab keine Preiserhöhung als Reaktion auf die steigenden Speicherpreise. Alle reden über den Anstieg der Rechenleistung, der das Vorabfüllen um das 4-fache beschleunigt. Das ist cool, aber praktisch ist es nicht so wichtig. Warum? Weil die meisten Apps/Tools, die LLMs verwenden, auf deinem eigenen Computer hohe kv-Cache-Trefferquoten erzielen werden – das bedeutet, dass du als Benutzer nur einmal langsames Vorabfüllen erlebst. Der kv-Cache kann auf die Festplatte geschrieben und mit 6GB/s geladen werden. Die meiste Zeit bei der LLM-Inferenz wird mit dem Dekodieren verbracht, was speicherbandbreitengebunden ist. Es ist immer noch großartig für die Bild-/Videoerzeugung, hochgradige LLM-Inferenz und Feinabstimmung, die rechenintensiv sind. Wir sollten dort enorme Geschwindigkeitssteigerungen sehen. Apples KI-Strategie sind On-Device-LLMs und hier ist der Speicher das A und O, nicht FLOPS. Erwarte das Gleiche für den M5 Pro/Max Mac Mini und den M5 Ultra Mac Studio. Das bedeutet 512GB M5 Ultra für 10k! @tim_cook ist ein Supply-Chain-Genie.