- \n
- Qwen3.5-397B-A17B<\/strong>Das Modell mit offener Gewichtsverteilung. Alibaba stellt Kernspezifikationen f\u00fcr Hugging Face bereit, wie zum Beispiel: 397B Gesamtparameter<\/strong>, 17B pro Token aktiviert<\/strong>, Und 60 Schichten<\/strong>.<\/li>\n\n\n\n
- Qwen3.5-Plus<\/strong>Die API-Version wird auf Alibaba Cloud Model Studio gehostet. Alibaba gibt an, dass sie dem Modell 397B-A17B entspricht und Produktionsfunktionen wie die folgenden hinzuf\u00fcgt: ein standardm\u00e4\u00dfiges 1M-Token-Kontextfenster<\/strong>, integrierte Werkzeuge<\/strong>, Und adaptive Werkzeugaufruf<\/strong>.<\/li>\n<\/ul>\n\n\n\n
Diese Unterscheidung taucht immer wieder auf in Reddit<\/a> Diskussionen. Viele Leute verwechseln Plus<\/strong>, das Open-Weight-Modell und \u201eTooling-\/Context-Erweiterungen\u201c, was die Verwirrung bei der Evaluierung erh\u00f6ht.<\/p>\n\n\n\n
Was ich als die wichtigsten Verbesserungen in Qwen 3.5 sehe.<\/h2>\n\n\n\n
Ich teile die Upgrades in zwei Kategorien ein: fundamentale \u00c4nderungen auf Modellebene<\/strong> Und Technische Optimierungen zur Effizienzsteigerung<\/strong>. \u00d6ffentliche Mitteilungen<\/a> hebt auch hervor niedrigere Kosten<\/strong>, h\u00f6herer Durchsatz<\/strong>und ein Fokus auf agentenbasierte KI<\/strong>.<\/p>\n\n\n\n
Extrem sp\u00e4rliches MoE<\/h3>\n\n\n\n
MoE (Expertenteam)<\/strong> kann als Modellarchitektur mit vielen \u201eExperten\u201c-Teilnetzwerken verstanden werden. W\u00e4hrend der Inferenz aktiviert ein Routing-Mechanismus nur eine kleine Teilmenge der Experten, anstatt jedes Mal alle Parameter zu berechnen. Die Hauptvorteile sind:<\/p>\n\n\n\n
- \n
- Gro\u00dfe Gesamtzahl an Parametern<\/strong>: h\u00f6here Modellkapazit\u00e4t (mehr Muster kann das Modell darstellen).<\/li>\n\n\n\n
- Anzahl kleiner aktivierter Parameter<\/strong>Die Inferenzberechnung erfolgt n\u00e4her an einem kleineren Modell, was den Durchsatz verbessern und die Kosten senken kann.<\/li>\n<\/ul>\n\n\n\n
F\u00fcr Qwen3.5-397B-A17B<\/strong>Die \u00f6ffentlich aufgef\u00fchrten Zahlen sind 397B Gesamtparameter<\/strong> Und 17B aktiviert<\/strong>Reuters berichtet au\u00dferdem \u00fcber Alibabas Behauptungen. niedrigere Nutzungskosten und h\u00f6herer Durchsatz<\/strong> im Vergleich zur vorherigen Generation, einschlie\u00dflich Aussagen wie \u201eetwa 60% g\u00fcnstiger\u201c und verbesserte F\u00e4higkeit, h\u00f6here Arbeitslasten zu bew\u00e4ltigen.<\/p>\n\n\n\n
Bei der praktischen Bewertung von MoE-Systemen sehe ich zwei Vorteile: (1) Mit demselben Budget l\u00e4sst sich ein leistungsf\u00e4higeres Modell einsetzen, und (2) bei gleichem Durchsatzziel kann der Rechenaufwand reduziert werden. Diese Vorteile h\u00e4ngen jedoch von einem effizienten Routing, einer effektiven Parallelisierung und einem stabilen Training ab. Andernfalls k\u00f6nnen MoE-Systeme Qualit\u00e4tsschwankungen oder Serviceinstabilit\u00e4ten aufweisen.<\/p>\n\n\n\n
Native Multi-Token Joint Prediction<\/h3>\n\n\n\n
Traditionelle autoregressive Modelle sagen Folgendes voraus: Ein n\u00e4chster Token pro Schritt<\/strong>Das Ziel von Mehr-Token-Gemeinschaftsvorhersage<\/strong> ist es, Vorhersagen zu erstellen f\u00fcr mehrere zuk\u00fcnftige Positionen<\/strong> in einem einzigen Vorw\u00e4rtsdurchlauf, wobei das Modell explizit darauf trainiert wird, diese Vorhersagen konsistent zu halten.<\/p>\n\n\n\n
Hier die praktischen Auswirkungen auf die Inferenzgeschwindigkeit in einfachen Worten:<\/p>\n\n\n\n
- \n
- Wenn das Modell zuverl\u00e4ssig \u201evorausschauen\u201c und mehrere Token gleichzeitig vorhersagen kann und eine Akzeptanzrichtlinie nur Ausgaben mit hoher Konfidenz beibeh\u00e4lt, kann dies die Anzahl der Dekodierungsschritte reduzieren.<\/li>\n\n\n\n
- Weniger Dekodierungsschritte erh\u00f6hen in der Regel den Durchsatz, insbesondere bei langen Ausgaben oder Workloads mit langem Kontext.<\/li>\n<\/ul>\n\n\n\n
Manche Modellkarten von Drittanbietern<\/a> und \u00d6kosystemzusammenfassungen behandeln auch Multi-Token-Vorhersage<\/strong> als ein wichtiger Faktor f\u00fcr die Durchsatzsteigerungen von Qwen 3.5.<\/p>\n\n\n\n
\n
Bei der Bewertung dieser Technik konzentriere ich mich auf zwei Aspekte: die Stabilit\u00e4t der Akzeptanzstrategie und ihr Verhalten bei niedrigen bzw. hohen Temperaturen. Erfahrungsgem\u00e4\u00df decken lange Vorbelegungs-Workloads und hohe Parallelit\u00e4t Instabilit\u00e4ten fr\u00fchzeitig auf.<\/p>\n<\/blockquote>\n\n\n\n
Native Multimodalit\u00e4t<\/h3>\n\n\n\n
- Anzahl kleiner aktivierter Parameter<\/strong>Die Inferenzberechnung erfolgt n\u00e4her an einem kleineren Modell, was den Durchsatz verbessern und die Kosten senken kann.<\/li>\n<\/ul>\n\n\n\n
- Qwen3.5-Plus<\/strong>Die API-Version wird auf Alibaba Cloud Model Studio gehostet. Alibaba gibt an, dass sie dem Modell 397B-A17B entspricht und Produktionsfunktionen wie die folgenden hinzuf\u00fcgt: ein standardm\u00e4\u00dfiges 1M-Token-Kontextfenster<\/strong>, integrierte Werkzeuge<\/strong>, Und adaptive Werkzeugaufruf<\/strong>.<\/li>\n<\/ul>\n\n\n\n
![\"\"](\"https:\/\/www.iweaver.ai\/wp-content\/uploads\/2026\/02\/qwen-3-5-performance-benchmark-chart-comparing-qwen3-5-gpt-5-2-claude-opus-4-5-and-gemini-3-pro-1024x662.webp\")
<\/figure>\n\n\n\n