"Análisis de benchmark EXO de Qwen3-Coder-Next-8bit sobre M3 Ultra" 1. Datos del núcleo: M3 Ultra (512GB de RAM) Configuración de hardware de inferencia distribuida • Nodo único: Apple M3 Ultra 512GB RAM (32 núcleos de CPU, 80 núcleos de GPU) • Nodo dual: 2 × M3 Ultra (agregación de 1024GB de RAM) • Modelo: Qwen3-Coder-Next-8bit (8B parámetros, versión cuantizada) Indicadores de rendimiento (tokens/s)

II. Mensajes clave: 1. El procesamiento de prompts se expande linealmente con el número de nodos • Contexto 0,5K-8K: Picos de un solo nodo (60 t/s), disminuciones del doble nodo (-3%) • Causa: Sobrecarga de comunicaciones distribuidas > beneficios de aceleración de cómputo • Conclusión: No es necesario distribuir contextos pequeños • Contexto 16K-64K: Los nodos duales empiezan a beneficiarse (+2% a +6%) • Causa: KV Cache requiere más memoria, cuello de botella de un solo nodo • Conclusión: El razonamiento distribuido de gran contexto es valioso 2. Tendencias de rendimiento generacional • Modelo pequeño(8B) + contexto pequeño (<32K): La generación es más lenta • Contexto amplio (≥32K): El rendimiento empieza a mejorar los conocimientos clave • Razón: El modelo 8B tiene baja presión computacional, y el cuello de botella está en el ancho de banda de memoria y la caché KV 3. API /bench • Endpoint OpenAI estándar: la caché está activada por defecto, lo que resulta en resultados incorrectos en las pruebas • API /bench: Sin streaming, estadísticas de medición del servidor de retorno (precisas) • Hallazgos clave: La inferencia distribuida debe probarse con /bench, de lo contrario los datos son inválidos

III. Compárese con Qwen3.5-35B

4. Conclusión técnica Intervalos de valor para razonamiento distribuido • Contexto pequeño (<8K): Un solo nodo es óptimo, pero los nodos duales se reducen (sobrecarga de comunicación) • Contexto grande (≥32K): Los nodos duales empiezan a beneficiarse, +6% de aumento en 64K • 128K+ contexto: Requiere varios nodos (se encontró con el problema de mensajes de 1115KB de cotilleos demasiado grandes en la prueba) Qwen3-Coder-Next-8bit vs Qwen3.5-35B:

5. El cuello de botella de EXO • Prueba de contexto de 128K fallida: el mensaje de Gossipsub es demasiado grande (1115KB) y el nodo necesita ser reiniciado • Problema: La capa de red limita la escalabilidad de la inferencia distribuida • Resolución: El fragmentado de mensajes debe optimizarse o se utiliza un protocolo de comunicación diferente

6. Comparación de modelos económicos Opción A: M3 Ultra 512GB (Nodo Único) • Coste: $2000-3000 • Rendimiento: 60 t/s (<8K) → 48 t/s (64K) • Aplicable: Contexto amplio (≥32K), un solo nodo es suficiente Escenario B: M3 Ultra × 2 (Nodo Dual) • Coste: $4000-6000 • Rendimiento: 59-51 t/s (+6% vs nodo único, solo contexto 64K) • Aplicable: Contexto muy grande (≥128K) con memoria insuficiente en un solo nodo Escenario C: RTX 3090 (tarjeta única) • Coste: 800-1000 $ (usados) • Rendimiento: 112 t/s (fijo, Qwen3.5-35B) • Adecuado para: contexto pequeño (<64K), económicamente viable

VII. 📌 Conclusiones principales 1. Qwen3-Coder-Next-8bit es adecuado para inferencia distribuida de gran contexto (≥32K) Beneficios: Escalable a un contexto infinito (memoria agregada multinodo) Desventajas: El rendimiento en contexto pequeño no es tan bueno como el de las GPUs de una sola tarjeta, y el ciclo de retorno es largo 2. Qwen3.5-35B (RTX 3090) es adecuado para razonamientos económicos de contexto pequeño (<64K) Ventajas: 112 t/s de alto rendimiento, retorno del retorno del investimento en 6 meses Desventajas: Límite de tarjeta única (24GB de VRAM), no puede ampliarse a 128K+ 3. Todavía existen cuellos de botella en el razonamiento distribuido de EXO Problema: El mensaje de Gossipsub es demasiado grande (1115KB) y el nodo necesita ser reiniciado Solución: Optimizar la capa de red o cambiar a otro protocolo de comunicación

VIII. Comparación de prioridades de inversión Se espera que el Mac Studio M5 (con chip M5 Ultra) salga a la venta entre marzo y junio de 2026. En cuanto al rendimiento, comparado con el M3 Ultra, el procesamiento de prompts (TTFT) del M5 Ultra puede acelerarse entre 2 y 4 veces, y la velocidad de generación (tokens/s) aumenta aproximadamente un 20-30% (el ancho de banda de memoria pasa de 800GB/s a un nivel superior, combinado con el Acelerador Neural para cada núcleo de GPU). Para versiones cuantizadas similares al modelo Qwen, el M5 Ultra puede soportar contextos más grandes (64K+ tokens) para lograr un mayor rendimiento en benchmarks (por ejemplo, grandes modelos MoE de hasta 150+ tok/s). Teniendo en cuenta que el coste del hardware es similar (unos 4.000 dólares de aumento) pero el rendimiento ha mejorado, se espera que el ROI se reduzca a 8-12 meses, lo cual es adecuado para escenarios de desarrollo de IA de alta intensidad y tiene un índice global de recomendación más alto.