Un seul téléphone fait tourner 35 milliards de paramètres, de la démo au quotidien

Un seul téléphone fait tourner 35 milliards de paramètres, de la démo au quotidien

Le 13 octobre, ModelBest (面壁智能) a dévoilé une nouvelle génération de grand modèle multimodal embarqué, MiniCPM-V4.7, en présentant d'un coup deux versions : 35B-A3B et 1B. À première vue, il s'agit d'une itération de routine, mais le modèle 35B-A3B mérite un second regard : 35 milliards de paramètres au total, une architecture MoE (Mixture of Experts), avec seulement environ 3 milliards de paramètres activés à chaque inférence. La société le présente comme « le premier modèle MoE open source à tourner sans perte et de façon fluide en périphérie », et il n'occupe qu'environ 3GB de mémoire à l'exécution.

Testé sur un iPad Pro, le décodage dépasse 15 token/s. Vous posez une question, il répond, sans rester à fixer une barre de progression qui avance lentement.

Le dilemme du MoE en périphérie

Le MoE est populaire parce qu'il fait bien ses comptes : découper le modèle en de nombreux « experts » et n'en réveiller que quelques-uns à la fois. Le nombre total de paramètres peut être énorme tandis que la charge de calcul réelle reste proche de celle d'un petit modèle. Cette voie est confortable dans le cloud, où les centres de données ont de la VRAM à revendre.

Transposée en périphérie, elle devient gênante. Le goulot d'étranglement n'est pas la puissance de calcul, mais la mémoire. Tous les experts doivent être chargés à l'avance, car personne ne sait lequel servira au prochain token. 35 milliards de paramètres posés là en précision standard, cela fait des dizaines de GB, et la mémoire du téléphone sature aussitôt. En périphérie, « performant » et « capable de tourner » deviennent un choix unique.

Réveiller le prochain expert à l'avance

La solution de ModelBest s'appelle LES, Lookahead Expert Scheduling. L'idée n'a rien de mystérieux : si l'on peut prédire quels experts seront sollicités, autant le faire à l'avance. Pendant que le calcul matriciel en cours se poursuit, le système détermine quels experts seront appelés ensuite et les charge en mémoire plus tôt, de sorte que chargement et calcul se chevauchent.

Autrement dit, on remplace « courir à l'entrepôt chercher la marchandise au dernier moment » par « quelqu'un vous tend l'article suivant pendant que vous travaillez ». La société indique qu'il s'agit à ce jour de la seule approche open source du genre dans le secteur.

Deux versions, chacune son terrain

Le 35B-A3B se charge de porter une capacité de niveau flagship en périphérie. Il vise des scénarios comme ceux-ci : vouloir une compréhension proche du niveau cloud sans accepter d'envoyer ses données au dehors. Le questions-réponses sur documents hors ligne, la reconnaissance immédiate à partir d'une photo, les assistants vocaux sans réseau entrent tous dans son périmètre. La version 1B pousse l'efficacité à l'extrême, avec pour objectif de faire tourner le modèle sur davantage d'appareils, et pas seulement sur quelques flagships.

Le jour du lancement, MiniCPM-V4.7 a achevé son adaptation à des plateformes de puces telles que Rockchip, NVIDIA, Intel et Apple, prend en charge iOS, Android et HarmonyOS, et a publié le code d'adaptation embarqué ainsi que les principaux frameworks d'inférence. Le sous-entendu est limpide : ce n'est pas une démo de laboratoire, mais quelque chose que les développeurs peuvent adopter et mettre en production.

Le choix de voie derrière 60 millions de téléchargements

La série MiniCPM, co-maintenue par ModelBest et la communauté OpenBMB, a dépassé les 60 millions de téléchargements cumulés, couvrant le texte, la vision et la voix. Ce chiffre n'est pas anodin dans le monde de l'open source : il montre que la voie des petits modèles embarqués répond à une demande réelle et stable, et non à un discours de constructeur.

La même semaine, les camps chinois de l'embarqué et de l'open source ont multiplié les annonces. Xiaomi a ouvert la série MiMo-V2.6 ; sa version flagship Pro affiche 1,02 billion de paramètres au total, environ 42 milliards activés, un contexte d'un million de tokens, suit une voie d'apprentissage par renforcement d'« auto-amélioration récursive » et a, fait rare, publié le coût d'entraînement RL. L'Institut d'automatisation de l'Académie chinoise des sciences, avec l'Institut d'intelligence artificielle de Wuhan, a ouvert Zidong Taichu ZDTaichu5.0-9B, en publiant non seulement les poids, mais aussi toute une chaîne de production de données multimodales spatiales, de l'ingestion et du nettoyage des données à l'annotation 3D et à la vérification par synthèse.

Ces projets ont un point commun : ils ne fournissent plus seulement un modèle, mais une méthode pour « transformer ses propres données en capacités de modèle ». Pour les équipes qui veulent obtenir des résultats dans leur secteur, cette dernière est souvent plus précieuse.

Ce que la périphérie résout vraiment

Les modèles cloud sont plus intelligents, et cela ne changera pas à court terme. La valeur de la périphérie ne tient pas à une capacité absolue, mais à quelques points très concrets : une latence stable, un usage possible sans réseau, des données qui ne quittent pas l'appareil. Pour ceux qui construisent des outils internes d'entreprise, des dispositifs médicaux ou d'inspection industrielle, du matériel éducatif, ces deux derniers points comptent souvent plus que quelques points de benchmark supplémentaires.

Il faut aussi voir l'écart clairement. Le 35B-A3B active 3 milliards de paramètres par passe, ce qui place sa capacité à peu près dans la gamme des modèles petits et moyens, encore loin d'égaler les meilleurs modèles fermés. Tourner sans perte en périphérie résout le « capable de tourner », pas le « meilleur pour tourner ». En le considérant comme un assistant hors ligne, privé et toujours disponible, les attentes seront plus justes.

Pour finir

Ces douze derniers mois, le champ de bataille principal de la course aux grands modèles a été les paramètres et les classements. Mais quand la guerre des paramètres atteint un certain point, « est-ce que ça entre dans l'appareil que l'utilisateur tient en main » commence à devenir une nouvelle ligne de partage. Ce qui est intéressant chez MiniCPM-V4.7, ce n'est pas qu'il a de nouveau battu un score, mais qu'il a fait passer « faire tourner du MoE en périphérie » du slogan à une solution d'ingénierie reproductible.

L'imagination de la périphérie ne consiste pas à copier le cloud, mais à occuper les recoins que le cloud ne touche pas : les salles serveurs souterraines, les montagnes sans signal, et les postes ordinaires qui ne veulent pas envoyer leurs fichiers de travail ailleurs. Ces scénarios ne feront pas la une, mais ils constituent le véritable marché des modèles embarqués.