Eyeline Studios (Netflix) : l'IA générative fait 60 % du chemin, le reste est le vrai métier

La phrase la plus utile sortie ce mois-ci d'une conférence VFX est un refus.

« Nous ne faisons pas du prompt pour arriver à des plans et à des films. Ce n'est pas ce que nous sommes. » C'est Mohsen Mousavi, vice-président chargé du virtual pioneering chez Eyeline Studios, le studio d'effets détenu par Netflix, qui parlait à la View Conference de Turin. Son CV comprend la dernière saison de Game of Thrones : le refus n'est donc pas la naïveté de quelqu'un qui ignore ce que savent faire les générateurs. C'est une affirmation sur l'endroit où se trouve réellement le travail.

Son estimation de cette frontière est la partie intéressante : les modèles génératifs peuvent amener une production à 60 ou 70 % du chemin, à peu près. Atteindre 100 %, voilà ce qui compte le plus.

Ce que « production hybride » veut dire concrètement

La méthode d'Eyeline n'est pas « générer le plan ». C'est un mélange à trois : tournage en prises de vues réelles, effets visuels classiques et outils génératifs, la répartition étant décidée plan par plan, et non projet par projet.

Le flux de travail commence avant le premier tour de manivelle. Un département artistique génératif explore des pistes en parallèle des artistes traditionnels. Vient ensuite la technique qui porte l'essentiel du poids : les décors partiels. Les comédiens jouent sur des portions de décor réelles, éclairées de façon relativement plate, et l'environnement comme la lumière sont reconstruits après coup, la performance d'origine restant intacte.

Mousavi décrit cela comme un prolongement du département artistique traditionnel, pas un remplacement. La formule n'est pas innocente. Le rôle d'un département artistique a toujours été de décider ce que voit la caméra ; Eyeline déplace une partie de cette décision plus loin dans le planning.

Par-dessus vient une couche de capture volumétrique. Des images tournées dans un lieu peuvent être transformées en un autre environnement, et certains de ces environnements sont construits sans fond vert du tout. « Cela nous donne la liberté de la lumière et la liberté de la caméra après le tournage des performances », explique Mousavi, avec une réserve : l'identité et le jeu de l'acteur doivent survivre au processus.

Deux séries, deux problèmes différents

Pour Brazil '70: The Third Star, la série sur la victoire de la sélection nationale à la Coupe du monde 1970, Eyeline devait remplir des stades avec des foules qui paraissent émotionnellement réactives plutôt que répétées en mosaïque. La solution n'est pas une technique unique : éléments de foule filmés, sprites, CG classique et méthodes génératives, empilés. L'argument de Mousavi est budgétaire, pas artistique : faire le même travail en VFX traditionnels « aurait été très, très difficile à tenir dans ce budget ».

Pour The American Experiment, un documentaire historique en cinq parties, le travail était plus discret : des extensions de décor et de la poussière générative, intégrées à des images réelles. La poussière est un bon exemple de ce que cette technologie fait vraiment bien. Elle est volumétrique, elle est partout dans une rue d'époque, elle coûte cher à simuler de façon convaincante, et personne dans la salle ne va vérifier une particule.

Eyeline a aussi montré la modification de l'âge apparent d'un comédien tout en conservant le jeu sous-jacent, et un court de recherche sur l'ajustement de la position de caméra et de la lumière après le tournage. James Rustad, qui dirige le groupe GenFX d'Eyeline, a donné au public de Busan l'échelle de Brazil '70 : plus de 1 300 plans VFX, 45 artistes, et un flux en quatre étapes — setup, narrative, look, delivery — avec une décision narrative humaine placée délibérément entre l'expérimentation et la finition.

La partie honnête : les fluides

Les conférences se terminent d'habitude sur la démo la plus forte. Celle-ci a inclus la plus faible, exprès.

Eyeline travaille sur des fluides génératifs contrôlables, et Mousavi a été direct sur l'état actuel : ces simulations ne sont pas déterministes et très difficiles à contrôler. L'objectif : un contrôle par images clés de la vitesse, de la viscosité et de la turbulence, plus la possibilité d'ajouter de l'écume ou des projections sans perturber la simulation sous-jacente.

Puis il a dit une chose que seul un superviseur VFX en activité peut dire : souvent, en effets visuels, ce qu'on veut vraiment, c'est casser la physique du fluide. L'eau réelle n'est pas assez dramatique. L'exigence n'est pas l'exactitude physique, c'est l'inexactitude dirigeable. C'est une cible complètement différente de ce qu'optimise un modèle texte-vidéo, et cela explique pourquoi le studio construit ses propres outils au lieu de prompter ceux des autres.

Autres recherches montrées : le restylage d'une capture 3D par splats gaussiens de l'hiver vers l'automne, le ré-éclairage assisté par IA de performances humaines, et une tentative de construire une scène 4D navigable à partir d'un enregistrement monocaméra. Pour entraîner les systèmes de ré-éclairage, Eyeline utilise un rig de 40 caméras RED V-Raptor synchronisées, et a aussi développé du matériel de capture plus portable.

Le compromis que personne ne démontre : lumière plate et regards

Les décors partiels sont une inversion astucieuse d'une contrainte très ancienne. Traditionnellement, on construit le décor pour que la caméra ait du réel à filmer, puis on l'éclaire en fonction de l'histoire. Eyeline inverse l'ordre : tourner la performance sous une lumière relativement plate et uniforme, puis reconstruire le monde autour.

La lumière plate est le prix à payer. Elle est volontairement sans intérêt, parce qu'une lumière intéressante gravée dans la plaque devient un problème quand on remplace l'environnement : impossible de poser une lampe là où il n'y en avait pas si le visage de l'acteur porte déjà l'ombre dure d'une fenêtre qui n'existe plus. Tourner plat garde la performance utilisable et repousse chaque décision de lumière en aval, là où elle peut encore changer.

Ce qu'on ne peut pas repousser en aval, c'est la performance elle-même. Le discours d'Eyeline est constant là-dessus : l'identité et le jeu de l'acteur doivent survivre. Un décor reconstruit ne sauve pas une prise où l'on voit que le comédien fixait une balle de tennis au bout d'une perche. La technique achète la liberté de la lumière et de la caméra, pas la liberté face à la mise en scène.

C'est aussi pourquoi le studio répète qu'il prolonge le département artistique plutôt qu'il ne le remplace. Il faut bien que quelqu'un décide à quoi ressemble la pièce avant qu'on puisse la remplacer plus tard.

Pourquoi le chiffre de 60/70, c'est toute l'histoire

Pensez à ce que représentent les 30 derniers pour cent en post-production professionnelle : la cohérence temporelle sur un plan, une résolution qui tient une finition 4K, une plage dynamique élevée, et la capacité pour un chef opérateur de dire « plus sombre à gauche, et la fenêtre devrait être plus tard dans la journée » puis d'obtenir cela, de façon reproductible, un jeudi.

Les modèles génératifs sont extraordinaires sur les 60 premiers pour cent parce que c'est là que vit la nouveauté. Ils sont faibles sur les 30 derniers parce que c'est là que vit la cohérence, et la cohérence est l'exact opposé de l'échantillonnage.

C'est aussi pourquoi la réponse du studio à « quels modèles de fondation utilisez-vous ? » a été un haussement d'épaules. Mousavi a dit que l'essentiel du travail repose sur leurs propres recherches et leurs propres modèles, avec des partenariats extérieurs et des données d'entraînement captées spécialement. Les modèles sont la partie facile à louer. Le rig de capture, les données d'entraînement et le pipeline qui rend un plan reproductible ne le sont pas.

La partie que l'industrie devrait remarquer

Netflix a déclaré en juillet qu'environ 300 titres avaient utilisé une forme ou une autre d'IA générative. Le groupe a aussi racheté InterPositive, la société de technologie de cinéma de Ben Affleck. Les deux faits mis ensemble décrivent une stratégie qui ne consiste pas à remplacer des artistes : il s'agit d'acheter le pipeline qui permet à un nombre fixe d'artistes de couvrir davantage de plans.

Mousavi revenait sans cesse à une formule qui ressemble à une exigence d'achat : « nous voulons nous assurer que ce n'est pas une boîte noire ». Les chefs opérateurs et les chefs décorateurs doivent pouvoir façonner le résultat. Sinon, l'outil ne sera pas utilisé sur une série, quelle que soit la beauté de la démo.

Voilà la vraie ligne de partage dans la vidéo IA aujourd'hui. Pas ouvert contre fermé, pas 4K contre 1080p. C'est de savoir si la sortie peut être pilotée par quelqu'un qui a une intention précise, et si elle peut l'être de nouveau demain quand le réalisateur change d'avis. Soixante pour cent, c'est facile. Les quarante derniers, c'est le métier.