🚨 A NVIDIA simplesmente fez o impossível. Eles treinaram um modelo de linguagem de parâmetro 12B em 10 trilhões de tokens inteiramente com precisão de 4 bits. Chama-se NVFP4 e pode redefinir como os modelos de IA de fronteira são treinados. Veja por que isso é importante: • O NVFP4 oferece taxa de transferência matemática 2 a 3× mais rápida e 50% menos memória em comparação com o FP8 •Exatidão? Praticamente idêntico. (MMLU-Pro: FP8 = 62,62%, NVFP4 = 62,58%) • Problemas de estabilidade? Resolvido usando transformações aleatórias de Hadamard, arredondamento estocástico e escala 2D • Treinado inteiramente em GPUs NVIDIA Blackwell, a primeira execução estável de 4 bits em tokens 10T Esta é a primeira demonstração bem-sucedida de pré-treinamento de 4 bits em larga escala sem perder a precisão. A próxima geração de modelos de fronteira será mais rápida, mais barata e mais ecológica sem concessões.