Tidak ada yang berbicara tentang @apple menjaga harga tetap sama untuk MacBook Pro 128GB. Tidak ada kenaikan harga sebagai tanggapan atas lonjakan harga memori. Semua orang berbicara tentang peningkatan komputasi, mempercepat prefill hingga 4x. Ini keren tetapi praktis itu bukan masalah besar. Mengapa? Karena di komputer Anda sendiri, sebagian besar aplikasi/alat yang menggunakan LLM akan mendapatkan tingkat hit cache kv yang tinggi - itu berarti sebagai pengguna Anda hanya mengalami pengisian awal yang lambat sekali. Cache kv dapat dipertahankan ke disk dan dimuat pada 6GB/s. Sebagian besar waktu dalam inferensi LLM dihabiskan untuk dekode, yang terikat bandwidth memori. Ini masih bagus untuk pembuatan gambar/video, inferensi LLM batch tinggi, dan penyetelan halus, yang terikat komputasi. Kita harus melihat kecepatan besar di sana. Strategi AI Apple adalah LLM di perangkat dan di sini, memori adalah nama permainan, bukan FLOPS. Harapkan hal yang sama untuk M5 Pro/Max Mac Mini dan M5 Ultra Mac Studio. Itu berarti 512GB M5 Ultra pada 10k! @tim_cook adalah jenius rantai pasokan.