Nadie habla de @apple mantener los mismos precios para el MacBook Pro de 128GB. No ha habido aumento de precios en respuesta al aumento de los precios de la memoria. Todo el mundo habla del aumento en el cálculo, acelerando el prellenado en 4 veces. Esto está bien, pero en la práctica no es para tanto. ¿Por qué? Porque en tu propio ordenador, la mayoría de las apps/herramientas que usan LLMs van a tener altas tasas de acerto en la caché kv; eso significa que como usuario solo experimentas un prellenado lento una vez. La caché KV puede persistir en disco y cargarse a 6GB/s. La mayor parte del tiempo en la inferencia de LLM se dedica a la decodificación, que está limitada al ancho de banda de la memoria. Sigue siendo genial para generación de imágenes/vídeo, inferencia y ajuste fino de LLM de alto lote, que están limitados por el cómputo. Deberíamos ver grandes aceleraciones allí. La estrategia de IA de Apple son los LLMs en dispositivos y aquí, la memoria es la clave, no los FLOPS. Espera lo mismo para el Mac Pro 5 Pro/Max Mini y el Mac Studio M5 Ultra. ¡Eso significa 512GB M5 Ultra a 10k! @tim_cook es un genio de la cadena de suministro.