Sans fond vert : Alpha Gen et la révolution silencieuse de l'incrustation vidéo

Les fonds verts existent parce qu'extraire un masque propre est difficile. Pendant des décennies, le moyen le plus rapide de séparer un sujet d'un arrière-plan a consisté à peindre l'arrière-plan d'une couleur que le sujet n'a jamais, puis à supprimer cette couleur en postproduction. Toute cette pratique, de la location de toile de fond aux consignes données aux comédiens de ne pas porter de vert, n'est qu'une astuce de contournement d'un problème de détourage que personne n'avait résolu.

Début octobre, LTX a clôturé une semaine de sorties consacrées aux effets visuels avec un outil baptisé Alpha Gen, qui s'attaque à ce problème. Donnez-lui un clip RGB ordinaire et il renvoie un matte alpha précis à l'image près, sans fond vert, sans masquage manuel et sans prompt. L'entreprise le destine aux contours les plus difficiles, ceux qui mettent en échec l'incrustation traditionnelle : les cheveux, la fumée, le feu, le verre et l'eau.

Pourquoi ces contours sont tout l'enjeu

L'incrustation est facile au centre et brutale à la frontière. Un objet plein sur un fond uni est un cas résolu. Les cheveux d'une personne devant une fenêtre lumineuse ne le sont pas, car la bonne réponse n'est pas une valeur de masque unique mais un dégradé, où chaque pixel est partiellement transparent et légèrement recoloré par ce qui se trouve derrière lui.

C'est pourquoi les compositeurs passent des heures en rotoscopie, à dessiner des masques image par image pour quelques secondes d'un plan où les cheveux bougent au vent. C'est lent, coûteux, et c'est le genre de travail que les studios automatiseraient dès demain s'ils le pouvaient. C'est aussi pourquoi « sans fond vert » est une promesse plus intéressante qu'elle n'en a l'air. Ces contours sont précisément là où une personne doit intervenir aujourd'hui.

Ce qui change si ça tient la route

La première chose que changerait Alpha Gen, c'est l'origine des images. Si l'on peut extraire un matte de n'importe quel clip, un plan n'a plus besoin d'être pensé autour d'une toile de fond. Cela ouvre la voie aux plans de banque d'images, aux vidéos tournées au téléphone et aux documents d'archives jusqu'ici inutilisables pour le compositing, parce qu'ils n'avaient jamais été tournés pour ça.

La deuxième, c'est le planning. La rotoscopie se trouve sur le chemin critique de nombreux travaux de VFX. Même une automatisation partielle déplace ce travail plus en amont et à moindre coût, ce qui permet à des équipes plus petites de s'attaquer à des plans qui exigeaient autrefois un service de rotoscopie dédié.

Le troisième effet est plus subtil. Quand le détourage coûte peu, les monteurs réutilisent davantage. C'est un matte propre qui permet de déplacer un sujet vers un nouvel arrière-plan, de prolonger une scène ou d'isoler un produit dans un plan chargé. Réduire le coût de cette opération change la façon dont on considère les images : réutilisables plutôt que jetables.

La semaine VFX au sens large

Alpha Gen n'est pas arrivé seul. La même période a vu d'autres avancées viser le milieu peu glamour d'un pipeline. Les chercheurs du projet Sana de NVIDIA ont publié SoL-Refiner, un modèle de raffinement en une seule étape qui transforme la sortie basse résolution de n'importe quel générateur en vidéo nette 2K ou 4K, ce que l'équipe annonce comme jusqu'à 8,91 fois plus rapide de bout en bout. Les propres modèles 2.5 de LTX poussent l'idée de transformer des brouillons Blender grossiers en plans finis.

Lus ensemble, le thème n'est pas des modèles plus gros. C'est la plomberie. Le raffinement, le détourage et la conversion d'un rendu propre en plan sont les étapes entre une image générée et quelque chose que l'on peut monter dans une séquence, et c'est là que réside une grande partie de la friction réelle.

Comment les studios l'adopteraient réellement

L'adoption se fait rarement d'un seul coup, et le détourage en est un bon exemple. Un studio ne va pas supprimer son plateau fond vert parce qu'un modèle s'est amélioré. Il commencera par utiliser le détourage automatisé sur les plans où le fond vert n'a jamais été envisageable : des archives sous licence pour un documentaire, un clip filmé au téléphone envoyé par un sujet, un plan produit capté en extérieur et impossible à retourner. Ce sont les cas où l'ancien workflow n'avait tout simplement pas de réponse, et c'est là qu'un nouvel outil trouve son premier point d'ancrage.

De là, il s'étend aux plans où la rotoscopie était possible mais lente. L'économie décide de l'ordre. Un compositeur qui passait trois jours sur un plan de marche avec des cheveux au vent utilisera d'abord l'outil pour obtenir une première passe, puis nettoiera les deux pour cent que le modèle a ratés. L'économie nette est réelle même quand un humain touche encore chaque image, parce que la partie difficile n'a jamais été l'image entière. C'étaient les contours, et c'est désormais la partie qu'une personne peut corriger au lieu de la construire.

Une conséquence supplémentaire mérite d'être signalée. Quand le détourage devient bon marché, la demande augmente. Les projets qui renonçaient à un changement de décor parce que le budget roto était trop élevé vont désormais l'envisager. C'est ainsi que les améliorations de pipeline portent généralement leurs fruits : non pas en réduisant le même travail, mais en rendant possibles des travaux jusque-là hors de prix.

Les chiffres qui décident de l'adoption

Savoir si un outil comme Alpha Gen change un studio se résume à un ratio que personne ne publie : les heures qu'un outil fait gagner face aux heures qu'une personne passe à corriger ses erreurs. La rotoscopie est une bonne référence parce qu'elle est exceptionnellement bien mesurée. Un plan difficile peut consommer des journées entières du temps d'un compositeur, et le coût ne se limite pas aux heures. C'est le planning, car la roto intervient souvent tôt dans la vie d'un plan et retarde tout ce qui suit.

Si un modèle fournit un matte juste à quatre-vingt-quinze pour cent, l'économie nette peut rester importante, car les cinq pour cent restants se concentrent sur les contours, là où une personne allait de toute façon passer l'essentiel de son temps. S'il fournit un résultat juste à quatre-vingts pour cent sur toute l'image, l'économie s'évapore, car vérifier l'image entière coûte presque autant que de construire le masque à partir de zéro. C'est la différence entre un outil qui supprime du travail et un outil qui ajoute une étape de relecture, et aucune démo de lancement ne peut vous dire dans quel cas vous êtes.

Le test honnête est modeste et peu coûteux. Prenez un plan dont le contour est réputé difficile, faites-le passer dans l'outil et chronométrez le temps de nettoyage par rapport à un travail manuel. Faites-le trois fois sur des types d'images différents avant de décider quoi que ce soit. C'est une façon bien terne d'évaluer ce qui est présenté comme une percée, et c'est la seule manière de savoir si la percée atteint votre travail réel.

Où rester sceptique

Le détourage automatisé a déjà été « presque résolu ». Les outils précédents géraient bien les cas faciles et s'effondraient sur le flou de mouvement, sur les mèches fines et sur les matériaux transparents interagissant avec des arrière-plans complexes. La liste de cibles d'Alpha Gen, qui inclut précisément ces cas difficiles, est une affirmation sur les modes de défaillance, pas seulement sur les gains faciles ; les tests indépendants compteront donc.

Il faut aussi noter ce qu'un matte n'est pas. Un canal alpha parfait ne rééclaire pas un sujet pour l'accorder à un nouvel arrière-plan, et il ne corrige pas un mouvement qui ne colle pas à la nouvelle scène. Les compositeurs feront toujours le travail artistique. Ils passeront simplement moins de temps sur les parties qui n'avaient rien d'artistique au départ.

À retenir en pratique

Si vous montez ou faites du compositing, le geste utile est de tester les outils d'incrustation sur vos images les plus difficiles, pas sur le clip qui est le plus flatteur isolément. Les cheveux, le verre et la fumée sont les vrais repères. Si un outil passe ces épreuves, il mérite une place juste après la caméra. S'il ne vient à bout que des plans faciles, c'est un confort, pas un changement de méthode de travail.

La version ennuyeuse de cette histoire est la plus probable. Le détourage s'accélère en silence, les budgets de rotoscopie diminuent, et une étape qui dominait autrefois un planning devient une simple case à cocher. C'est ainsi que la plupart des changements de pipeline arrivent réellement.