"Qwen3-Coder-Next-8bits EXO-benchmarkanalys på M3 Ultra" 1. Kärndata: M3 Ultra (512GB RAM) Distribuerad inferenshårdvarukonfiguration • Enkel nod: Apple M3 Ultra 512GB RAM (32 CPU-kärnor, 80 GPU-kärnor) • Dubbel nod: 2 × M3 Ultra (1024GB RAM-aggregation) • Modell: Qwen3-Coder-Next-8bit (8B parametrar, kvantiserad version) Prestandabenchmarks (tokens/s)

II. Huvudbudskap: 1. Prompt Processing expanderar linjärt med antalet noder • 0,5K-8K kontext: Enkel nodtopp (60 t/s), dubbel nodminskning (-3%) • Orsak: Fördelar med distribuerad kommunikation > beräkningsacceleration • Slutsats: Små kontexter behöver inte distribueras • 16K-64K kontext: Dubbla noder börjar dra nytta (+2 % till +6 %) • Orsak: KV-cache kräver mer minne, flaskhals med en enda nod • Slutsats: Storkontextsdistribuerat resonemang är värdefullt 2. Generationsprestandatrender • Liten modell (8B) + liten kontext (<32K): Genereringen är långsammare • Stor kontext (≥32K): Prestandan börjar förbättra viktiga insikter • Anledning: 8B-modellen har lågt beräkningstryck, och flaskhalsen ligger i minnesbandbredd och KV-cache 3. /bench API • Standard OpenAI-endpoint: cache är aktiverad som standard, vilket resulterar i felaktiga testresultat • /bench API: Ingen streaming, return-servermätningsstatistik (korrekt) • Viktiga fynd: Distribuerad inferens måste testas med /bench, annars är datan ogiltig

III. Jämför med Qwen3.5-35B

4. Teknisk slutsats Värdeintervall för distribuerat resonemang • Liten kontext (<8K): En enkel nod är optimal, men dubbla noder minskar (kommunikationsöverhead) • Stor kontext (≥32K): Dubbla noder börjar dra nytta av det, +6 % ökning vid 64K • 128K+ kontext: Kräver flera noder (stötte på problemet med att 1115KB gossipsub-meddelanden var för stora i testet) Qwen3-Coder-Next-8bit vs Qwen3.5-35B:

5. EXO:s flaskhals • 128K kontexttest misslyckades: gossipsub-meddelandet är för stort (1115KB), och noden måste startas om • Problem: Nätverkslagret begränsar skalbarheten för distribuerad inferensskalbarhet • Upplösning: Meddelandeskärvning behöver optimeras eller så används ett annat kommunikationsprotokoll

6. Jämförelse av ekonomiska modeller Alternativ A: M3 Ultra 512GB (Enkel nod) • Kostnad: 2000–3000 dollar • Prestanda: 60 t/s (<8K) → 48 t/s (64K) • Tillämpligt: Stor kontext (≥32K), en enda nod räcker Scenario B: M3 Ultra × 2 (Dual Node) • Kostnad: 4000–6000 dollar • Prestanda: 59-51 t/s (+6 % mot enskild nod, endast 64K kontext) • Tillämpligt: Mycket stor kontext (≥128K) med otillräckligt minne på en enda nod Scenario C: RTX 3090 (enkelkort) • Kostnad: 800–1000 dollar (begagnat) • Prestanda: 112 t/s (fast, Qwen3.5-35B) • Lämplig för: liten kontext (<64K), ekonomiskt lönsam

VII. 📌 Kärnslutsatser 1. Qwen3-Coder-Next-8bit är lämplig för distribuerad inferens med stor kontext (≥32K) Fördelar: Skalbar till oändlig kontext (multi-node aggregerat minne) Nackdelar: Prestandan för små kontexter är inte lika bra som för enkorts-GPU:er, och ROI-cykeln är lång 2. Qwen3.5-35B (RTX 3090) är lämplig för ekonomisk resonemang i liten kontext (<64K) Fördelar: 112 t/s hög prestanda, avkastning på avkastning inom 6 månader Nackdelar: Gräns för ett kort (24GB VRAM), kan inte utökas till 128K+ 3. Det finns fortfarande flaskhalsar i EXO:s distribuerade resonemang Problem: Gossipsub-meddelandet är för stort (1115 KB) och noden måste startas om Lösning: Optimera nätverkslagret eller byt till ett annat kommunikationsprotokoll

VIII. Jämförelse av investeringsprioriteter Mac Studio M5 (med M5 Ultra-chip) förväntas släppas i mars-juni 2026. När det gäller prestanda kan M5 Ultras prompt processing (TTFT) accelereras 2–4 gånger jämfört med M3 Ultra, och genereringshastigheten (tokens/s) ökas med cirka 20–30 % (minnesbandbredden ökas från 800GB/s till en högre nivå, kombinerat med Neural Accelerator för varje GPU-kärna). För kvantiserade versioner liknande Qwen-modellen kan M5 Ultra stödja större kontexter (64K+ tokens) för att uppnå högre genomströmning i benchmarks (t.ex. stora MoE-modeller upp till 150+ tok/s). Med tanke på att hårdvarukostnaden är liknande (cirka 4 000 dollar uppåt) men prestandan förbättras, förväntas ROI förkortas till 8–12 månader, vilket är lämpligt för scenarier med högintensiv AI-utveckling och har ett högre övergripande rekommendationsindex.