🚨 NVIDIA simplemente hizo lo imposible. Entrenaron un modelo de lenguaje de 12B parámetros en 10 billones de tokens completamente con una precisión de 4 bits. Se llama NVFP4 y podría redefinir cómo se entrenan los modelos de IA de frontera. He aquí por qué esto es importante: • NVFP4 ofrece un rendimiento matemático entre un 2 y un 3× más rápido y un 50% menos de memoria en comparación con FP8 •¿Exactitud? Prácticamente idéntico. (MMLU-Pro: FP8 = 62,62%, NVFP4 = 62,58%) • ¿Problemas de estabilidad? Resuelto usando transformadas aleatorias de Hadamard, redondeo estocástico y escalado 2D • Entrenado completamente en GPU NVIDIA Blackwell, el primer funcionamiento estable de 4 bits en tokens de 10T Esta es la primera demostración exitosa de preentrenamiento de 4 bits a gran escala sin perder precisión. La próxima generación de modelos de frontera será más rápida, más barata y más ecológica sin compromiso.