私は新しいLLMの推論アルゴリズムに取り組んでいます。 これはSpeculative Speculative Decoding(SSD)と呼ばれ、世界最強の推論エンジンの最大2倍の速度を持っています。 @tri_dao @avnermayと協力しましょう。詳細はスレッドに記載しています。