🚨 NVIDIA は不可能なことをやり遂げました。 彼らは、10兆個のトークンで12Bパラメータの言語モデルを完全に4ビットの精度でトレーニングしました。 これは NVFP4 と呼ばれ、フロンティア AI モデルのトレーニング方法を再定義する可能性があります。 これが重要な理由は次のとおりです。 NVFP4 は、FP8 と比較して 2 〜 3× 高速な演算スループットと 50% 少ないメモリを実現します。 •精度。実質的に同じです。(MMLU-Pro:FP8 = 62.62%、NVFP4 = 62.58%) • 安定性の問題?ランダム アダマール変換、確率的丸め、および 2D スケーリングを使用して解決 • NVIDIA Blackwell GPU で完全にトレーニングされ、10T トークンで安定した最初の 4 ビット実行 精度を損なうことなく、大規模な4ビット事前学習の実証に成功したのは初めてです。 次世代のフロンティア モデルは、妥協することなく、より速く、より安価で、より環境に優しいものになります。

MITはAIとMLに関する12冊の書籍を提供しています(無料ダウンロード可能): 1. 機械学習の基礎 2. ディープラーニングの理解 3. 機械学習のアルゴリズム 4. 強化学習 5. 機械学習システム入門 6. ディープラーニング 7. 分散強化学習 8. マルチエージェント強化学習 9. AIの長期ゲームにおけるエージェント 10. 公平性と機械学習 インターネット上で無料で受けられる機械学習コースに年間5万ドルを支払っているのです。 ブックマークしてください。共有してください。

🚨 速報:Googleの研究者でありチューリング賞受賞者の人物が、AIの真の危機を暴露する論文を発表しました。 それは訓練じゃない。それは推測です。そして、私たちが使っているハードウェアは、決してそのために設計されたものではありません。 論文は馬小雨とデイビッド・パターソンによるものです。IEEE Computerに承認、2026年。 誇張はない。製品発売もありません。ハードウェアレベルでLLMの提供が根本的に壊れている理由を、簡潔に説明します。 核心的な主張は残酷です: → GPU FLOPSは2012年から2022年の間に80倍に成長しました → 同じ期間にメモリ帯域幅はわずか17倍に増加しました → HBMの1GBあたりのコストは下がるのではなく上昇しています → デコードフェーズはメモリに縛られ、計算に縛られるわけではありません → トレーニング用に設計されたチップで推論を構築しています ここが一番驚くべき部分です: OpenAIは収益37億ドルに対し、約50億ドルの損失を出しました。ボトルネックはモデルの品質ではありません。すべてのトークンをすべてのユーザーに配信するコストです。推論はこれらの企業を搾り取っています。 そして、同時に状況を悪化させている5つの傾向があります: →DeepSeek-V3のようなMoEモデル、256人のエキスパーソンがメモリを爆発的に使っています → 回答前に大規模な思考連鎖を生成する推論モデル → マルチモーダル入力(画像、音声、映像)がテキストを小さくする → KVキャッシュをストレインする長コンテキストウィンドウ → リクエストごとにより多くのコンテキストを注入するRAGパイプライン 彼らが提案した4つのハードウェア転換案: → 高帯域幅フラッシュ:HBMレベルの帯域幅で512GBスタック、ノードあたり10倍のメモリ増加 → プロセッシング・ニアメモリ:同じチップ上ではなくメモリの隣に配置される論理ダイ → 3Dメモリロジック積み重ね:HBMの2〜3倍低い電力を垂直接続で提供します → 低レイテンシインターコネクト:ホップ数の減少、ネットワーク内計算、SRAMパケットバッファ CerebrasやGroqのようなSRAM専用チップを試した企業はすでに失敗し、DRAMを再び追加しなければなりませんでした。 この新聞は商品を売っているわけではありません。ハードウェアのボトルネック全体をマッピングし、業界が間違った問題を解決していると言います。 論文は2026年1月に配布されました。最初のコメント👇にリンクがあります