Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Никто не говорит о том, что @apple сохраняет цены на уровне 128 ГБ MacBook Pro. Не было повышения цен в ответ на рост цен на память.
Все говорят о повышении вычислительной мощности, ускоряющем предварительную загрузку в 4 раза. Это круто, но на практике это не так уж и важно. Почему? Потому что на вашем собственном компьютере большинство приложений/инструментов, использующих LLM, будут иметь высокие показатели кэширования kv - это означает, что как пользователь вы столкнетесь с медленной предварительной загрузкой только один раз. Кэш kv может быть сохранен на диск и загружен со скоростью 6 ГБ/с.
Большая часть времени в выводе LLM тратится на декодирование, что связано с пропускной способностью памяти.
Это все еще отлично для генерации изображений/видео, высокопроизводительного вывода LLM и тонкой настройки, которые зависят от вычислений. Мы должны увидеть огромные ускорения в этой области.
Стратегия AI Apple заключается в LLM на устройствах, и здесь память - это главное, а не FLOPS.
Ожидайте того же для Mac Mini M5 Pro/Max и Mac Studio M5 Ultra. Это означает 512 ГБ M5 Ultra за 10k!
@tim_cook - гений цепочки поставок.
Топ
Рейтинг
Избранное
