Le MOSS-Image 5B écrit enfin le chinois des affiches, mais il ne sait pas retoucher

Mi-octobre, un modèle open source nommé MOSS-Image a circulé dans plusieurs groupes techniques chinois. La raison était simple : il écrit correctement le chinois sur une affiche.

Dit comme ça, on croirait féliciter un adulte de savoir tenir des baguettes. Mais il suffit d'avoir fait une affiche, une infographie ou une page produit pour savoir à quel point c'est difficile. Ces deux dernières années, on s'est habitués à ce circuit : on demande l'image au modèle, puis on ouvre son logiciel de retouche et on recouvre une à une les lettres ratées pour les retaper. Le modèle dessine, l'humain écrit. La répartition était claire.

MOSS-Image veut changer cette répartition. Il vient de l'équipe OpenMOSS (le NLP de Fudan et l'Institut d'innovation de Shanghai, entre autres), 5B paramètres, architecture DiT à flux unique, pré-entraîné de zéro, poids publiés sous Apache-2.0.

Ce qu'il fait vraiment bien

Dans les évaluations officielles, le plus intéressant est le rendu de texte long. Le jeu de test compte 120 tâches en chinois et 120 en anglais, pour une longueur cible moyenne d'environ 1 339,8 caractères, et le score Mean-6 atteint 96,3. C'est un nouveau record parmi les modèles à poids ouverts. Le « texte long », ici, ce n'est pas un titre de quatre caractères : c'est un paragraphe entier, avec les retours à la ligne et la structure en paragraphes à préserver.

Deuxième point, la mise en page. Le modèle accepte une entrée JSON Layout structurée : on découpe l'image en un summary et des items, chaque élément reçoit un type, une description, un contenu textuel et une boîte bbox, et le modèle place les choses dans ce cadre. Sur cette tâche, le mIoU des boîtes détectées est de 0,8786 et le mIoU global de la mise en page de 0,6788. En clair : les éléments atterrissent à peu près là où on l'a demandé, mais la composition d'ensemble n'a pas la précision d'un logiciel de design.

Troisième point, la longueur du prompt. Il accepte jusqu'à environ 4K tokens. Ce chiffre compte beaucoup pour qui fabrique des affiches, parce que la description d'une infographie est longue par nature : quel feeling de police pour le titre principal, quelle hiérarchie pour le sous-titre, quel numéro de couleur dans la palette, quelle icône en bas à gauche. Avant, il fallait compresser tout ça en une phrase. Maintenant, on peut l'écrire.

L'installation est simple ; le problème, c'est qu'il refuse de retoucher

La mise en route est banale. On clone le dépôt, on crée un environnement virtuel, on installe les dépendances, puis on lance Gradio ou on écrit directement du Python :

Une fois le dépôt cloné, l'environnement créé et les dépendances installées, un pip install -e '.[ui]' suivi de python gradio_app.py --model OpenMOSS-Team/MOSS-Image-Base ouvre une interface. Côté Python, on charge via le custom_pipeline de Diffusers ; l'échantillonnage par défaut est Flow-matching Euler, 50 pas, CFG 3, shift 5, avec un saut de couche négatif au 22e bloc. Si la VRAM manque, on bascule en mode Sequential, au prix de la lenteur.

Le vrai problème est là : c'est un modèle de texte-vers-image pur. Pas d'image de référence, pas d'édition native. Vous voulez « changer le titre de cette affiche » ? Impossible. Il faut tout régénérer. Le module d'enrichissement de prompt passe lui aussi par un LLM externe : le modèle ne fait pas ce travail.

Ce n'est pas un défaut mineur. Ceux qui produisent des supports passent quatre-vingts pour cent de leur temps à retoucher, pas à générer : le client veut le logo deux millimètres plus grand, le juridique veut supprimer cette accroche, le marketing trouve que la couleur de ce SKU ne va pas. Un modèle qui ne sait que partir de zéro enferme ces gens dans une boucle de « tirage » : la deuxième image aura de toute façon une autre composition.

Dans un vrai flux de travail, il est donc plutôt un générateur de point de départ : on s'en sert pour réussir d'un coup la mise en page et le texte, on exporte, puis on ajuste dans le logiciel de design. C'est déjà plus pratique qu'avant, mais ce n'est pas le point d'arrivée.

Dans quelles conditions les 96,3 ont été obtenus

Il faut être précis, pour ne pas se laisser porter par le chiffre. 96,3 a été calculé sur un jeu d'évaluation particulier, avec une métrique particulière, pour une cible d'environ 1 339 caractères. Ce que ça prouve : « sur cette plage de longueur et ce type de tâche de mise en page, sa précision de texte devance celle des autres modèles ouverts ». Ce que ça ne prouve pas : « aucun texte chinois, quelle que soit sa longueur, ne sera jamais faux ».

L'équipe a d'ailleurs écrit ses limites dans la fiche du modèle : le backbone est du texte-vers-image pur, il n'accepte ni image de référence ni édition native, et l'enrichissement de prompt dépend d'un LLM externe. Cette façon d'annoncer soi-même ses limites est rare parmi les modèles ouverts, et mérite d'être notée.

La communauté a déjà commencé à combler ses manques

Moins de deux semaines après la sortie, la communauté s'est activée. DiffSynth-Studio prend en charge le fine-tuning complet et l'entraînement LoRA des versions Base et SFT. Quelqu'un a fait un DeBand LoRA pour écraser les bandes colorées verticales propres à la version SFT, en précisant le compromis : « écraser les rayures change les détails ». Un autre a produit une version distillée DMD en 8 pas, avec un adaptateur LoRA pour ComfyUI.

Ces trois choses mises bout à bout montrent qu'il est traité comme un modèle de base, pas comme un produit fini. Que des gens acceptent d'entraîner des LoRA et de distiller dessus en dit plus sur sa valeur réelle que le nombre d'étoiles le jour du lancement.

Reste à choisir entre Base et SFT : dans les exemples comparatifs officiels, le SFT regroupe plus clairement le texte et rend les mises en page de tableau blanc plus nettes. Pour faire des affiches et des infographies, prenez directement le SFT ; pour fine-tuner vous-même, partez du Base.

Qui devrait l'essayer dès maintenant

Si votre travail consiste à produire en série des affiches en chinois, des infographies de cours, des images longues pour WeChat, des menus ou des panneaux explicatifs, et que vous avez un GPU local, ça vaut un après-midi de test. Ces besoins ont un profil précis — mise en page fixe, beaucoup de texte, reproductibilité exigée — et c'est exactement là qu'il est fort.

Si votre travail, c'est la retouche, le changement de fond, ou transformer une photo existante dans un certain style, ne perdez pas votre temps. Il ne sait pas le faire, ou alors plus péniblement que vos outils actuels.

Les liens vers la documentation et les poids sont sur HuggingFace et ModelScope, licence Apache-2.0, peu de soucis pour un usage commercial. Ce qu'il faut anticiper, c'est la VRAM et le processus : le mode Sequential sauve une petite carte, mais il transforme l'essai-erreur rapide en pause-thé.