- \n
- Qwen3.5-397B-A17B<\/strong>Le mod\u00e8le \u00e0 poids libre. Alibaba fournit les principales caract\u00e9ristiques techniques de Hugging Face, telles que\u00a0: 397B param\u00e8tres totaux<\/strong>, 17B activ\u00e9s par jeton<\/strong>, et 60 couches<\/strong>.<\/li>\n\n\n\n
- Qwen3.5-Plus<\/strong>La version de l'API h\u00e9berg\u00e9e sur Alibaba Cloud Model Studio. Alibaba indique qu'elle correspond au mod\u00e8le 397B-A17B et ajoute des fonctionnalit\u00e9s de production telles que\u00a0: une fen\u00eatre de contexte par d\u00e9faut de 1M jetons<\/strong>, outils int\u00e9gr\u00e9s<\/strong>, et appel d'outil adaptatif<\/strong>.<\/li>\n<\/ul>\n\n\n\n
Cette distinction revient \u00e0 plusieurs reprises dans Reddit<\/a> discussions. Beaucoup de gens confondent Plus<\/strong>, le mod\u00e8le \u00e0 pond\u00e9ration ouverte et les \u00ab extensions d\u2019outils\/de contexte \u00bb, ce qui accro\u00eet la confusion lors de l\u2019\u00e9valuation.<\/p>\n\n\n\n
Ce que je consid\u00e8re comme les principales am\u00e9liorations de Qwen 3.5<\/h2>\n\n\n\n
Je regroupe les am\u00e9liorations en deux cat\u00e9gories\u00a0: changements fondamentaux au niveau du mod\u00e8le<\/strong> et optimisations d'ing\u00e9nierie pour l'efficacit\u00e9<\/strong>. Messagerie publique<\/a> \u00e9galement mis en \u00e9vidence co\u00fbt inf\u00e9rieur<\/strong>, d\u00e9bit plus \u00e9lev\u00e9<\/strong>et une attention particuli\u00e8re port\u00e9e \u00e0 IA agentique<\/strong>.<\/p>\n\n\n\n
MoE extr\u00eamement rare<\/h3>\n\n\n\n
Minist\u00e8re de l'\u00c9ducation (M\u00e9lange d'experts)<\/strong> On peut la concevoir comme une architecture de mod\u00e8le comportant de nombreux sous-r\u00e9seaux \u00ab\u00a0experts\u00a0\u00bb. Lors de l\u2019inf\u00e9rence, un m\u00e9canisme de routage n\u2019active qu\u2019un petit sous-ensemble d\u2019experts, au lieu d\u2019ex\u00e9cuter tous les param\u00e8tres \u00e0 chaque fois. Les principaux avantages sont\u00a0:<\/p>\n\n\n\n
- \n
- Nombre total de param\u00e8tres \u00e9lev\u00e9<\/strong>: capacit\u00e9 du mod\u00e8le plus \u00e9lev\u00e9e (le mod\u00e8le peut repr\u00e9senter davantage de mod\u00e8les).<\/li>\n\n\n\n
- Nombre de param\u00e8tres activ\u00e9s faible<\/strong>: le calcul d'inf\u00e9rence est plus proche d'un mod\u00e8le plus petit, ce qui peut am\u00e9liorer le d\u00e9bit et r\u00e9duire les co\u00fbts.<\/li>\n<\/ul>\n\n\n\n
Pour Qwen3.5-397B-A17B<\/strong>, les chiffres publi\u00e9s sont 397B param\u00e8tres totaux<\/strong> et 17B activ\u00e9<\/strong>Reuters rapporte \u00e9galement les affirmations d'Alibaba concernant co\u00fbt d'utilisation r\u00e9duit et d\u00e9bit plus \u00e9lev\u00e9<\/strong> par rapport \u00e0 la g\u00e9n\u00e9ration pr\u00e9c\u00e9dente, notamment avec des affirmations telles que \u00ab environ 60% moins cher \u00bb et une capacit\u00e9 am\u00e9lior\u00e9e \u00e0 g\u00e9rer des charges de travail plus importantes.<\/p>\n\n\n\n
Lors de l'\u00e9valuation pratique du MoE, j'envisage deux avantages\u00a0: (1) \u00e0 budget \u00e9gal, on peut utiliser un mod\u00e8le \u00e0 plus grande capacit\u00e9, et (2) \u00e0 d\u00e9bit cible \u00e9gal, on peut r\u00e9duire la charge de calcul. Toutefois, ces gains d\u00e9pendent d'un routage robuste, d'une parall\u00e9lisation efficace et d'un entra\u00eenement stable. Dans le cas contraire, les syst\u00e8mes MoE peuvent pr\u00e9senter des variations de qualit\u00e9 ou une instabilit\u00e9 de service.<\/p>\n\n\n\n
Pr\u00e9diction conjointe native multi-jetons<\/h3>\n\n\n\n
Les mod\u00e8les autor\u00e9gressifs traditionnels pr\u00e9disent un jeton suivant par \u00e9tape<\/strong>L'objectif de pr\u00e9diction conjointe multi-jetons<\/strong> est de produire des pr\u00e9dictions pour plusieurs postes futurs<\/strong> en une seule passe avant, tout en entra\u00eenant explicitement le mod\u00e8le \u00e0 maintenir la coh\u00e9rence de ces pr\u00e9dictions.<\/p>\n\n\n\n
Voici, en termes simples, l'impact pratique sur la vitesse d'inf\u00e9rence\u00a0:<\/p>\n\n\n\n
- \n
- Si le mod\u00e8le peut \u00ab anticiper \u00bb de mani\u00e8re fiable et pr\u00e9dire plusieurs jetons \u00e0 la fois, et si une politique d'acceptation ne conserve que les r\u00e9sultats \u00e0 haute confiance, il peut r\u00e9duire le nombre d'\u00e9tapes de d\u00e9codage.<\/li>\n\n\n\n
- Un nombre r\u00e9duit d'\u00e9tapes de d\u00e9codage augmente g\u00e9n\u00e9ralement le d\u00e9bit, notamment pour les sorties longues ou les charges de travail \u00e0 contexte long.<\/li>\n<\/ul>\n\n\n\n
Quelques cartes mod\u00e8les tierces<\/a> et les r\u00e9sum\u00e9s des \u00e9cosyst\u00e8mes traitent \u00e9galement pr\u00e9diction multi-jetons<\/strong> comme un facteur important expliquant les gains de d\u00e9bit de Qwen 3.5.<\/p>\n\n\n\n
\n
Lors de l'\u00e9valuation de cette technique, je me concentre sur deux points\u00a0: la stabilit\u00e9 de la strat\u00e9gie d'acceptation et son comportement lors d'un \u00e9chantillonnage \u00e0 basse ou haute temp\u00e9rature. D'apr\u00e8s mon exp\u00e9rience, les charges de travail de pr\u00e9remplissage importantes et une forte concurrence ont tendance \u00e0 r\u00e9v\u00e9ler plus rapidement l'instabilit\u00e9.<\/p>\n<\/blockquote>\n\n\n\n
Multimodalit\u00e9 native<\/h3>\n\n\n\n
- Nombre de param\u00e8tres activ\u00e9s faible<\/strong>: le calcul d'inf\u00e9rence est plus proche d'un mod\u00e8le plus petit, ce qui peut am\u00e9liorer le d\u00e9bit et r\u00e9duire les co\u00fbts.<\/li>\n<\/ul>\n\n\n\n
- Qwen3.5-Plus<\/strong>La version de l'API h\u00e9berg\u00e9e sur Alibaba Cloud Model Studio. Alibaba indique qu'elle correspond au mod\u00e8le 397B-A17B et ajoute des fonctionnalit\u00e9s de production telles que\u00a0: une fen\u00eatre de contexte par d\u00e9faut de 1M jetons<\/strong>, outils int\u00e9gr\u00e9s<\/strong>, et appel d'outil adaptatif<\/strong>.<\/li>\n<\/ul>\n\n\n\n
![\"\"](\"https:\/\/www.iweaver.ai\/wp-content\/uploads\/2026\/02\/qwen-3-5-performance-benchmark-chart-comparing-qwen3-5-gpt-5-2-claude-opus-4-5-and-gemini-3-pro-1024x662.webp\")
<\/figure>\n\n\n\n