← Retour au blog
AiEnviron 8 min de lecture

Un modèle de 1.6B a arrêté de traduire les images en tokens, et bat les architectures qui le font

Publié le 7 nov. 2026
Un modèle de 1.6B a arrêté de traduire les images en tokens, et bat les architectures qui le font

Une équipe de la Huazhong University of Science and Technology (HUST), en collaboration avec Horizon Robotics, a publié ce mois-ci un article sur une architecture multimodale qui n'emprunte aucune des deux routes suivies par tout le monde. Le modèle s'appelle MF-1. Il compte 1.6 milliard de paramètres, a été entraîné de zéro sur 150 milliards de tokens, et dépasse les deux approches établies dans une comparaison contrôlée à données et budget de calcul identiques.

Le résultat compte moins pour les chiffres de benchmark que pour ce qu'il dit de la quantité d'entraînement multimodal actuellement gaspillée en architecture.

Les deux routes, et ce que chacune coûte

Depuis quelques années, il y a deux façons de mettre langage et images dans un même modèle.

La route pleinement discrète, suivie par Chameleon et Emu3, quantifie les images en tokens discrets pour que tout devienne une longue séquence d'entiers et un seul objectif autorégressif. C'est élégant et il y a un plafond dur : le tokenizer visuel jette les détails haute fréquence pendant la quantification. Les textures fines, les petits textes et les dégradés subtils sont aplatis avant même que le modèle les voie. On peut améliorer le tokenizer, et certains l'ont fait, mais le plafond est structurel.

La route hybride, suivie par Transfusion et JanusFlow, garde le texte discret et les images continues. Le texte passe par la prédiction du token suivant. Les images passent par un processus de diffusion. Cela évite entièrement le goulot de la quantification, et crée un autre problème : le modèle maintient désormais deux fonctions objectif et deux pipelines d'échantillonnage, et les faire optimiser conjointement relève du projet d'ingénierie plutôt que de la question de recherche. Chaque ablation coûte deux fois plus cher.

Les deux routes impliquent de traduire une modalité dans le format de l'autre. C'est le compromis que Multimodal Flow refuse.

Un objectif, deux formats natifs

Le design garde le langage dans son espace d'embedding continu et les images dans le leur, et partage un seul objectif Flow Matching entre les deux.

Deux filets de poudre fine, l'un bleu pâle et l'autre sable chaud, tombant côte à côte et commençant à s'entrelacer.

Concrètement : le texte est découpé en morceaux de huit tokens, chaque morceau encodé par un T5-small gelé en un text hyperchunk continu. Les images passent par un encodeur SigLIP2 gelé et ressortent en une grille spatiale de 16 sur 16, formant un visual hyperchunk. Les hyperchunks sont enchaînés en une seule séquence dans l'ordre que la tâche exige, et envoyés dans un Chunk-Causal Flow backbone partagé.

Le masque d'attention est la partie astucieuse. Quand on prédit le k-ième hyperchunk, tous les hyperchunks précédents sont entièrement visibles, les positions à l'intérieur du morceau courant sont modélisées conjointement, et les morceaux suivants sont masqués. La causalité tient à la granularité du morceau, et l'information circule librement à l'intérieur d'un morceau. C'est ce qui permet à un hyperchunk visuel de 256 cellules d'être généré comme une image cohérente plutôt que comme 256 décisions indépendantes.

Le deuxième choix de design est un hybride à l'intérieur du transformer. Les couches d'attention sont partagées, donc langage et vision peuvent s'attentionner mutuellement. Les couches FFN restent spécifiques à chaque modalité, parce que les statistiques de représentation des deux diffèrent assez pour que les forcer dans un seul bloc feedforward nuise. Les ablations de l'article le confirment, paraît-il, et c'est le genre de détail qui fait gagner trois mois à tout le monde.

Les morceaux de texte font huit tokens, ce qui est un compromis délibéré. Des morceaux plus petits donnent un contrôle plus fin et plus de positions de séquence. Des morceaux plus grands rendent le masque causal moins cher. Huit est le point où l'arbitrage a atterri.

Les chiffres

Texte vers image : GenEval 0.821 au global, alignement sur prompts longs DPG-Bench 83.44. Sur la sous-tâche de comptage de GenEval, MF-1 atteint 0.73, nettement devant les modèles unifiés de même échelle. Le comptage a longtemps été une gêne pour les architectures unifiées, parce qu'il faut lier un nombre à plusieurs instances, et modéliser conjointement un morceau visuel aide visiblement.

Compréhension : VQAv2 72.6, MMBench 67.2, POPE 86.1, moyenne 75.3. Cette moyenne dépasse certains modèles de même taille initialisés depuis un modèle de langage préentraîné, et c'est le point surprenant. Partir d'un LLM préentraîné, d'habitude, c'est de la performance gratuite.

La comparaison contrôlée est la partie qui rend l'article digne d'être lu. Mêmes données, même budget de paramètres, même optimiseur, et Multimodal Flow dépasse à la fois l'hybride façon Transfusion et l'architecture discrète façon Chameleon sur GenEval, GQA, VQAv2 et MMBench. Pas d'un point sur un benchmark. Sur l'ensemble.

Pourquoi le comptage est le test qui compte

De toutes les sous-tâches de GenEval, le comptage est celle qui sépare le plus proprement les architectures.

Demander trois pommes rouges à un modèle exige deux choses à la fois. Il doit représenter le nombre trois, et lier ce nombre à trois instances distinctes d'un objet, chacune devant être rouge et en forme de pomme. Les modèles à tokens discrets ont tendance à en produire deux ou quatre. Les modèles de diffusion ont tendance à produire un amas plausible en espérant que personne ne compte. Les systèmes hybrides s'approchent parce que le côté image est continu, mais le côté texte doit encore transmettre une cardinalité qui survive à la passation.

Que MF-1 obtienne 0.73 sur cette sous-tâche est plus important que le 0.821 global, parce que le chiffre global est porté en partie par des prompts faciles sur les couleurs et les objets simples.

Pourquoi 150 milliards de tokens est la vraie affirmation

Les modèles multimodaux de frontière s'entraînent sur des milliers de milliards de tokens. MF-1 en a utilisé 150 milliards, sur 1.6 milliard de paramètres, et a atteint 0.821 sur GenEval.

Si cela passe à l'échelle, cela change une hypothèse. Le consensus actuel est que les modèles multimodaux unifiés coûtent cher parce qu'ils ont besoin de données énormes pour bien apprendre les deux modalités. Cet article suggère qu'une grande partie de ce coût était l'architecture qui payait le compromis : quantifier les images coûte de la qualité, donc on la rachète avec plus de données ; maintenir deux objectifs coûte de l'efficacité d'optimisation, donc on la rachète avec plus de calcul.

Retirez le compromis et le même budget va plus loin. Que cela tienne à 10 milliards ou 100 milliards de paramètres reste sans réponse, et l'article ne prétend pas le contraire. L'équipe dit explicitement qu'il s'agit d'une échelle et d'un mélange de données.

Il y a une implication de second ordre qui rejoint d'autres travaux de cette année. Une ligne de recherche séparée cherche à retirer entièrement le VAE de la génération d'images, au motif que compresser une image en latent puis la ressortir perd de l'information que personne n'a demandé à perdre. Multimodal Flow garde l'encodeur et cesse de traiter sa sortie comme quelque chose qui doit être réexprimé en tokens de type langage. L'hyperchunk visuel reste visuel de bout en bout. C'est le même instinct.

Ce que cela ne résout pas

Trois limites à énoncer.

Les encodeurs sont gelés. T5-small et SigLIP2 n'ont pas été entraînés conjointement avec le flow backbone, ce qui veut dire que le plafond de qualité des représentations est fixé ailleurs. Un encodeur entraîné conjointement ferait probablement mieux, et coûterait bien plus cher.

La résolution d'image est de 16 sur 16 en termes de grille latente, ce qui suffit pour GenEval et ne suffit pas pour tout ce qui touche au rendu de texte ou au détail fin. La qualité de génération en haute résolution n'est pas le sujet de cet article.

Et c'est un artefact de recherche. Le code est sur GitHub à hustvl/Multimodal-Flow, les poids sont un point de départ plutôt qu'un produit, et il n'y a pas d'API hébergée. Personne ne va remplacer son pipeline d'images avec ça la semaine prochaine.

Ce que cela fait, c'est réduire l'espace des futurs plausibles. Si un modèle pleinement continu de 1.6B peut battre les deux architectures unifiées établies à budget égal, alors la prochaine génération de modèles de fondation multimodaux a une troisième option de design qui n'existait pas dans la conversation il y a six mois. Pour un domaine qui a dépensé beaucoup de calcul à discuter des tokenizers, c'est une chose utile à avoir sur la table.

Articles associés