Dessinez-le et il apparaît : l'édition gribouillis-vers-objet passe à maturité

Quelque part sur Hugging Face, début octobre, une petite publication de recherche a discrètement montré vers quoi se dirige l'édition d'images. Une équipe de ML-Intern-lab a publié un LoRA pour Qwen-Image-2.1 d'Alibaba, baptisé Doodle-in. Vous prenez une photo, tracez un gribouillis magenta approximatif sur la zone que vous voulez modifier, nommez l'objet, et le modèle remplace tout ce qui se trouve sous le gribouillis en conservant l'éclairage et le reste de la scène intacts. Il a été entraîné sur un peu plus de 6 000 paires construites à partir d'Open Images V7.

C'est un outil de niche au nom peu engageant. C'est aussi un exemple limpide du basculement qui s'est dessiné tout au long de l'année : la partie intéressante de l'IA d'image a cessé d'être la génération pour devenir l'édition.

Le vrai travail n'a jamais été la première image

Demandez à quiconque utilise des modèles d'image pour gagner sa vie à quoi il consacre réellement son temps. La réponse est rarement le premier rendu. C'est la deuxième, la troisième et la douzième révision. Changer l'étiquette de la bouteille. Conserver le visage de la personne. Déplacer le produit de cinq centimètres vers la gauche sans modifier l'ombre. Placer la veste sur un autre fond sans toucher au col.

Ces retouches sont la raison pour laquelle un générateur capable de produire une belle image n'est pas la même chose qu'un outil qu'un designer peut livrer. L'écart, c'est le contrôle, et tout le marché se réorganise autour de lui. OpenAI a scindé son modèle d'image phare en un palier rapide et un palier précis, et a positionné ce dernier sur les retouches qui conservent exactement un visage, une étiquette ou une mise en page. Le modèle Pro de Seedream a mis un point d'honneur à modifier un élément tout en maintenant le reste du cadre. Ideogram 4.5 a été conçu autour du problème précis de l'accumulation d'artefacts après des retouches répétées. Le modèle d'image de Grok a résumé tout son argumentaire par « l'édition, c'est le vrai travail ».

Pourquoi un gribouillis vaut mieux qu'un paragraphe

Décrire une retouche locale avec des mots est plus difficile qu'il n'y paraît. « Remplace la plante sur l'étagère de gauche par quelque chose de plus petit » invite le modèle à réinterpréter tout le côté gauche, ou à ajuster l'éclairage, ou à recalculer discrètement l'étagère. Plus vous essayez d'être précis en langage, plus vous créez de surface pour que le modèle modifie quelque chose que vous n'avez pas mentionné.

Un gribouillis élimine cette ambiguïté. Il pointe. La zone est tracée, l'objet est nommé, et l'instruction se réduit à deux entrées au lieu d'un paragraphe. C'est pourquoi la technique se répand, même si sa mise en œuvre est délicate. Elle emprunte l'interaction la plus ancienne du travail visuel, la main, et l'emploie là où le langage est mal adapté.

Le cas pratique, en particulier pour les produits

L'édition régionale importe surtout là où la répétition importe. Un catalogue produit a besoin du même article présenté dans des dizaines de contextes, chacun avec un éclairage et des matières cohérents. Une agence qui adapte une campagne a besoin d'une image principale ajustée par marché sans repasser par un shooting. Un designer indépendant a besoin d'itérer sur une mise en page sans régénérer les parties qui étaient déjà bonnes.

Dans chaque cas, la valeur n'est pas la créativité. C'est de ne pas avoir à tout recommencer. C'est précisément le genre de valeur qui ne fait pas une bonne démo et qui se voit dans un budget.

Ce schéma mérite d'être remarqué, car il va à l'encontre de la façon dont la plupart des gens apprennent d'abord à utiliser ces outils. Les débutants écrivent de longs prompts et espèrent. Ceux qui en vivent écrivent des instructions courtes et pointent, car ils ont appris que moins vous demandez au modèle de changer de choses, moins il en change que vous ne vouliez pas. Un gribouillis, c'est cette habitude transformée en interface, et c'est pourquoi il ressemble moins à une fonctionnalité qu'à l'aveu de la façon dont le travail s'est toujours fait.

Les outils qui réussissent cela ont tendance à se fondre dans le processus. Personne ne raconte sa journée en disant qu'il a utilisé un éditeur régional. On dit qu'on a corrigé l'étiquette et livré le lot. Quand un outil d'édition atteint ce stade, il a fait son travail, et le fait qu'un LoRA de recherche au nom bizarre ait aidé à y parvenir est la partie la moins intéressante de l'histoire.

Ce que la technique implique d'autre

Un gribouillis est une entrée parmi d'autres, et la question intéressante est de savoir laquelle un travail donné réclame. Quand la modification est spatiale et locale, pointer l'emporte sur la description. Quand la modification est stylistique et globale, une image de référence l'emporte sur les deux, ce qui explique pourquoi une grande partie des progrès de l'année a consisté à fournir aux modèles plus de références plutôt que des prompts plus longs. Quand la modification est subtile et que toute l'image doit rester stable, un masque accompagné d'une instruction précise reste gagnant. La compétence ne consiste pas à maîtriser l'une d'elles. Elle consiste à savoir laquelle convient.

Il y a aussi un point plus profond sur la répartition du travail entre les humains et les modèles. Le modèle est bon pour produire une image plausible et mauvais pour savoir quelle image est la bonne. Un gribouillis permet à une personne de fournir la part que le modèle ne peut pas déduire, à savoir l'intention, et laisse au modèle la part où il excelle, à savoir la synthèse. Cette répartition explique pourquoi la technique semble naturelle presque immédiatement. Ce n'est pas une nouvelle interface. C'en est une ancienne, la main, appliquée là où le langage ne cessait d'échouer.

La même logique apparaît dans les outils sortis cette année. Magnific One a ajouté une étape de direction artistique avant la génération, exactement pour cette raison : décider de la direction est un acte humain, et le faire en amont évite au modèle de deviner. Un gribouillis, c'est la même idée à l'échelle de quelques centaines de pixels.

Petit guide pratique des outils d'édition

Si vous choisissez l'outil à utiliser pour une retouche donnée, un ordre approximatif aide. Pour une modification locale où vous pouvez désigner la zone, utilisez un outil de gribouillis ou de masque : c'est l'instruction la moins ambiguë que vous puissiez donner. Pour une modification globale de l'ambiance, de l'éclairage ou du style, utilisez une image de référence et laissez le modèle s'y accorder. Pour une modification qui ne doit rien perturber d'autre, cherchez des outils qui mettent en avant la cohérence au fil des retouches répétées, car c'est la propriété dont vous avez besoin et celle où la plupart des outils sont les plus faibles. Et pour tout ce qui ira chez un client, réglez la question de la licence avant de tomber amoureux du résultat.

Les points sur lesquels rester honnête

L'édition gribouillis-vers-objet n'a rien de magique, et ses modes de défaillance sont prévisibles. L'occlusion est le cas difficile. Si l'objet que vous voulez modifier se trouve derrière autre chose, ou est partiellement caché, le modèle doit imaginer les parties manquantes, et il lui arrive de mal les imaginer. Les retouches répétées dérivent encore, ce qui explique pourquoi plusieurs laboratoires publient des correctifs visant à maintenir stables les pixels non touchés.

Il y a aussi une subtilité de licence qui mérite vérification. Qwen-Image-2.1 est sorti sous une licence orientée recherche, et les fine-tunings communautaires héritent des restrictions que porte leur modèle de base. Pour des expérimentations personnelles, cela convient. Pour un travail commercial, c'est le genre de détail à régler avant qu'une livraison client n'en dépende, pas après.

À retenir

Si vous utilisez des modèles d'image dans un vrai travail, la compétence à développer n'est pas le prompting. C'est la décomposition : décider quelles parties d'une image doivent rester figées et lesquelles doivent changer, puis choisir l'outil le plus léger qui ne modifie que ces parties. Parfois, c'est une retouche locale à partir d'un gribouillis. Parfois, c'est un masque, une image de référence ou un éditeur dédié.

Doodle-in est un LoRA de recherche, et il sera peut-être oublié le mois prochain. La direction qu'il indique, non. Les outils qui s'imposeront dans l'année à venir du travail d'image seront jugés sur leur capacité à garder tout ce que vous n'avez pas demandé à changer exactement tel quel.