Meitu décompose le travail d'une IP de marque en deux boutons : un pour le visage, un pour les mouvements

Du 29 octobre au 1er novembre, la 17e Foire culturelle et commerciale des industries culturelles des deux rives du détroit s'est tenue à Xiamen. Dans le pavillon du Fujian, Meitu a présenté RoboNeo, sa plateforme de création d'images par IA, en mettant l'accent sur trois choses plus ingrates : se créer un personnage, écrire des histoires suivies autour de ce personnage, et transposer les mouvements de ce personnage dans de nouvelles images.
Sur le stand, c'est un commerçant du secteur alimentaire qui a formulé la demande. Il voulait une IP de marque reconnaissable, voulait publier du contenu en continu en surfer sur les tendances, mais engager une équipe professionnelle coûte trop cher et il ne sait pas le faire lui-même. Cette description correspond presque exactement au vrai profil client de la vidéo IA en Chine : pas des studios de cinéma, mais des petits et moyens commerçants sans budget qui doivent pourtant publier quelque chose chaque jour.
Ressembler à la même personne : c'est là que réside la difficulté
Générer une image unique n'est plus difficile depuis longtemps. Ce qui est difficile, c'est que la deuxième, la cinquième, la vingtième image montre encore la même personne.
La solution proposée par RoboNeo s'appelle « verrouillage du style de l'image IP » : le commerçant crée d'abord un personnage, puis produit en série autour de lui des packs d'emojis, des affiches, des visuels produits ; selon l'éditeur, la cohérence des traits du visage et des vêtements d'une image à l'autre s'améliore nettement. Cela peut sembler anodin, mais dans la production réelle, cela détermine si une activité peut devenir une entreprise viable. Si le chaton publié aujourd'hui n'est pas le même que celui de la semaine dernière, le public ne s'en souvient pas, l'IP ne tient pas, et le compte ne peut compter que sur des hits isolés.
La difficulté de la cohérence de personnage ne réside pas dans « dessiner ressemblant », mais dans « où va l'information ». Une image contient à la fois une identité (qui est-ce), un style (avec quoi c'est dessiné), une pose, un éclairage, une composition. Lors de générations successives, si l'on ne sépare pas ces éléments, le modèle devine à nouveau l'identité à chaque fois ; une petite erreur et le visage change. L'approche du secteur consiste à extraire séparément les traits d'identité pour en faire un conditionnement : par exemple une image de référence plus un encodage d'identité, ou une zone réservée dans l'espace latent où ne sont stockées que les informations d'identité. Le nom importe peu ; l'essentiel est que l'information d'identité soit plus « dure » que celle de style.
Le volet des mouvements : c'est là que ça devient vraiment intéressant
La capture de mouvement présentée par RoboNeo ne suit pas la même logique que le « vidéo vers vidéo » classique. Elle extrait de la vidéo de référence les **proportions du personnage, les relations spatiales et les mouvements de caméra**, tout en atténuant les caractéristiques d'apparence de la vidéo source.

Cette phrase est plus technique qu'elle n'en a l'air. Le transfert de mouvement piloté par vidéo souffre de deux défauts récurrents :
Premièrement, la **fuite d'apparence**. Vous voulez que votre personnage de dessin animé danse la chorégraphie de la vidéo de référence, mais le résultat porte les vêtements et le visage de la vidéo de référence. Parce que le modèle ne distingue pas « je veux le mouvement » de « je veux cette vidéo ».
Deuxièmement, la **dérive structurelle**. Dès que l'amplitude du mouvement augmente, les proportions se déforment, les mains s'allongent, les jambes se raccourcissent ; dès que la caméra bouge, les relations entre premier plan et arrière-plan se brouillent. La raison : les signaux de conditionnement ne contiennent ni squelette explicite, ni profondeur, ni trajectoire de caméra, et le modèle doit deviner à partir des pixels.
Séparer les informations de la vidéo de référence entre « structure » et « apparence », et ne laisser entrer que la structure dans le conditionnement, c'est la direction dominante de ces deux dernières années : le squelette donne les articulations, la carte de profondeur donne les occlusions, la trajectoire de caméra donne le mouvement d'appareil. Sur le papier c'est simple, en ingénierie c'est sale, car quand les trois signaux se contredisent, il faut régler lequel est prioritaire. RoboNeo a encapsulé tout cela dans des boutons que le commerçant peut cliquer : c'est de la valeur produit, pas de la valeur d'article académique.
L'atelier de scénario résout une autre forme de dérive
La troisième fonction est un atelier de scénario, fondé sur « nœuds de scénario + mémoire de projet » : le créateur clarifie ses intentions par un dialogue en plusieurs tours, découpe l'intrigue, puis poursuit autour du personnage établi, pour faire des séries à épisodes unitaires ou des micro-drames.
Cette fonction ressemble à un outil d'écriture de scénario, mais elle gère en réalité la **cohérence entre épisodes**. Quand une mini-série atteint le huitième épisode, la personnalité des personnages, leurs relations, ce qu'ils ont dit, les lieux visités, tout doit être mémorisé. Sans mémoire de projet, le modèle comprend chaque épisode à partir de zéro (« quelle est la relation entre ces deux personnages ? »), et le résultat se contredit forcément d'un épisode à l'autre. La qualité de la couche mémoire détermine directement la capacité à produire du contenu suivi, et pas seulement des éléments isolés.
La barrière baisse, les exigences non
Un autre événement, à la même période que la foire, permet de comparer. Le 4 novembre, dans le parcours « Direct vers Wuzhen » du sommet de Wuzhen, CCTV a consacré un reportage à Qin Wenshan, entrepreneur de Xiangcheng à Suzhou : une seule personne pilotant sept employés numériques IA — contrôleur général, scénariste, réalisateur, storyboardeur, créateur d'assets, vidéaste, monteur — formant une chaîne de production de contenu AIGC. Parmi ses productions, un long métrage d'animation AIGC, « Yi Zhang Xiong Mao » (Un paume de panda), a été sélectionné au 16e Festival international du film de Pékin, et « Zi Sheng Cang Jie » (Cang Jie, le saint des caractères), sur un thème mythologique historique, a été annoncé pour une sortie cette année. Xiangcheng a déjà mis en place 36 communautés OPC, et plus de 100 entreprises OPC y ont achevé leur enregistrement.
« Une personne, une entreprise », cela sonne grisant, mais les exigences de compétence sont en fait plus élevées. Avant, un cadreur, un éclairagiste, un monteur et un directeur artistique assumaient chacun une part du travail ; aujourd'hui, tous ces jugements reposent sur vous. Les outils ont abattu la barrière de l'exécution, mais ont laissé intacte celle de l'esthétique.
Cela explique aussi pourquoi le point de concurrence de ce type de produits se déplace de « peut-on générer ? » vers « peut-on produire de manière stable la même chose ? ». Ce qu'un commerçant veut, ce n'est pas une image époustouflante, c'est trois cents images utilisables, avec la même personne dans les trois cents, et des mouvements adaptés à ce qu'il vend.
Trois questions encore sans réponse
Premièrement, où se situe la limite de précision des mouvements. Si la vidéo de référence contient des interactions manuelles complexes, des rotations rapides, des occlusions fréquentes, l'information structurelle est elle-même incomplète, et la meilleure des séparations ne pourra pas la reconstituer.
Deuxièmement, la plausibilité physique du langage cinématographique. Extraire un mouvement de caméra ne signifie pas comprendre ce mouvement. Un vrai travelling, un zoom, un panoramique obéissent à une logique spatiale ; plaqués brutalement sur une nouvelle scène, ils donnent le vertige au spectateur. Sur ce point, tous les outils tâtonnent encore.
Troisièmement, le contrôle qualité à grande échelle. Entre « un clip regardable » et « cent clips regardables », il y a tout un processus : qui fixe les standards, qui fait le contrôle par échantillonnage, combien de fois refaire ce qui ne passe pas, comment calculer les coûts. Sans outillage à ce maillon, tout le reste, si beau soit-il, ne pourra pas être déployé.
Pour les petites et moyennes entreprises, la véritable signification de plateformes comme RoboNeo est de faire passer « créer une IP » du statut de projet à celui de chaîne de production. Quant à savoir si la chaîne continuera de tourner, cela dépendra de sa capacité à encaisser les trois questions ci-dessus.
Articles associés
La règle ne vise pas les puces, elle vise l'accès à distance
Washington ne contrôle plus seulement la puce qui traverse une frontière, mais le calcul qui la traverse. Cinq pays, une licence, et un flou qui coûte cher aux néoclouds.
Trois documents en neuf jours, et un comité qui compte
En neuf jours, le conseil de Nvidia a publié une enquête, créé une présidence et monté un comité export. Ce dernier est le seul qui change vraiment la machine.
AMD a pris 18,93 % pour une raison qui ne parle pas d'AMD
AMD a gagné 18,93 % pendant que Nvidia perdait 12,75 %. Le marché n'a pas choisi un gagnant : il a fui un nom. La différence compte pour les deux prochaines années.
Ce que Colette Kress doit dire en trois phrases
Nvidia publie son premier trimestre sans Huang. Derrière des chiffres attendus, une seule question : la nouvelle patronne peut-elle encore vendre la visibilité du groupe ?