Eyeline Studios di Netflix: l'IA generativa arriva al 60%, il resto è il mestiere

La frase più utile uscita questo mese da una conferenza VFX è stato un rifiuto.

«Non stiamo facendo prompting per arrivare a inquadrature e film. Non siamo questo». È Mohsen Mousavi, vicepresidente del virtual pioneering di Eyeline Studios, la casa di effetti controllata da Netflix, alla View Conference di Torino. Nel suo curriculum c'è l'ultima stagione de Il Trono di Spade, quindi il rifiuto non è ingenuità su ciò che sanno fare i generatori. È un'affermazione su dove si trova davvero il lavoro.

La sua stima di quel confine è la parte interessante: i modelli generativi possono portare una produzione più o meno al 60-70 per cento del percorso. Arrivare al 100 per cento è ciò che conta di più.

Cosa significa «produzione ibrida» in pratica

Il metodo di Eyeline non è «generare l'inquadratura». È una miscela a tre: riprese dal vivo, effetti visivi tradizionali e strumenti generativi, con la ripartizione decisa inquadratura per inquadratura, non progetto per progetto.

Il flusso di lavoro inizia prima che le macchine da presa girino. Un reparto artistico generativo esplora i design accanto agli artisti tradizionali. Poi arriva la tecnica che porta il peso maggiore: i set parziali. Gli interpreti recitano su porzioni di set fisico, illuminate in modo piuttosto piatto, e l'ambiente e la luce vengono ricostruiti dopo, mentre la performance originale resta intatta.

Mousavi lo descrive come un'estensione del reparto artistico tradizionale, non un sostituto. La formula fa un lavoro vero. Il compito di un reparto artistico è sempre stato decidere cosa vede la macchina da presa; Eyeline sposta parte di quella decisione più avanti nella tabella di marcia.

Sopra c'è uno strato di cattura volumetrica. Il girato di un luogo può essere trasformato in un altro ambiente, e alcuni di questi ambienti sono costruiti senza green screen. «Ci dà libertà di luce e libertà di macchina dopo aver girato le performance», ha detto Mousavi, con l'avvertenza che l'identità e la recitazione dell'attore devono sopravvivere al processo.

Due serie, due problemi diversi

Per Brazil '70: The Third Star, il dramma sulla vittoria della nazionale ai Mondiali del 1970, Eyeline doveva riempire gli stadi con folle che risultassero emotivamente reattive e non ripetute a mosaico. La soluzione non è una singola tecnica: elementi di folla girati, sprite, CG tradizionale e metodi generativi, impilati. L'argomento di Mousavi è di budget, non artistico: fare lo stesso lavoro con VFX tradizionali «sarebbe stato molto, molto difficile dentro quel budget».

Per The American Experiment, un documentario storico in cinque parti, il lavoro è stato più silenzioso: estensioni di sfondo e polvere generativa, integrati con girato reale. La polvere è un buon esempio di dove questa tecnologia è davvero forte. È volumetrica, è ovunque in una strada d'epoca, è costosa da simulare in modo convincente, e nessuno in sala andrà a verificare una particella.

Eyeline ha anche mostrato come cambiare l'età apparente di un interprete mantenendo la recitazione sottostante, e un corto di ricerca sull'aggiustamento di posizione macchina e luce dopo le riprese. James Rustad, che guida il gruppo GenFX di Eyeline, ha dato al pubblico di Busan la scala di Brazil '70: più di 1.300 inquadrature VFX, 45 artisti e un flusso in quattro fasi —setup, narrativa, look, consegna— con una decisione narrativa umana collocata di proposito tra sperimentazione e finitura.

La parte onesta: i fluidi

Le conferenze di solito finiscono con la demo più forte. Questa ha incluso la più debole, di proposito.

Eyeline sta lavorando su fluidi generativi controllabili, e Mousavi è stato diretto sullo stato attuale: queste simulazioni non sono deterministiche e sono molto difficili da controllare. L'obiettivo è il controllo a keyframe di velocità, viscosità e turbolenza, più la possibilità di aggiungere schiuma o spruzzi senza disturbare la simulazione sottostante.

Poi ha detto una cosa che direbbe solo un supervisore VFX che lavora davvero: spesso, negli effetti visivi, quello che vuoi davvero è rompere la fisica del fluido. L'acqua vera non è abbastanza drammatica. Non serve accuratezza fisica, serve inesattezza dirigibile. È un bersaglio completamente diverso da quello per cui ottimizza un modello testo-video, e spiega perché lo studio costruisce i propri strumenti invece di fare prompting su quelli di altri.

Altre ricerche mostrate: il restyling di una cattura 3D Gaussian splat dall'inverno all'autunno, il relighting di performance umane assistito dall'IA e il tentativo di costruire una scena 4D navigabile da una registrazione a macchina singola. Per addestrare i sistemi di relighting, Eyeline usa un rig di 40 RED V-Raptor sincronizzate e ha costruito anche attrezzature di cattura più portatili.

Il compromesso che nessuno mostra: luce piatta e sguardi

I set parziali sono un'inversione intelligente di un vincolo antichissimo. Tradizionalmente si costruisce il set perché la macchina abbia qualcosa di reale da filmare, e lo si illumina in funzione della storia. Eyeline inverte l'ordine: girare la performance con una luce relativamente piatta e uniforme, poi ricostruire il mondo intorno.

La luce piatta è il prezzo. È volutamente poco interessante, perché una luce interessante cotta nella lastra diventa un problema quando sostituisci l'ambiente: non puoi mettere una lampada dove non c'era se il viso dell'attore ha già l'ombra dura di una finestra che non esiste più. Girare piatto tiene la performance utilizzabile e spinge ogni decisione di luce a valle, dove si può ancora cambiare.

Quello che non puoi spingere a valle è la performance stessa. La posizione di Eyeline è coerente su questo: l'identità e la recitazione dell'attore devono sopravvivere. Un ambiente ricostruito non salva una ripresa in cui si vede che l'interprete guardava una pallina da tennis su un bastone. La tecnica compra libertà di luce e di macchina, non libertà dalla regia.

È anche per questo che lo studio continua a insistere di essere un'estensione del reparto artistico, non un sostituto. Qualcuno deve pur decidere com'è la stanza prima che qualcun altro possa sostituirla più tardi.

Perché il numero 60/70 è tutta la storia

Pensate a cosa compone l'ultimo 30 per cento nella postproduzione professionale: coerenza temporale lungo un'inquadratura, risoluzione che regge una finitura in 4K, alta gamma dinamica, e la capacità di un direttore della fotografia di dire «più scuro a sinistra, e la finestra dovrebbe essere più tardi nel giorno» e ottenere quello, in modo ripetibile, di giovedì.

I modelli generativi sono straordinari nel primo 60 per cento perché lì vive la novità. Sono deboli nell'ultimo 30 perché lì vive la coerenza, e la coerenza è l'esatto contrario del campionamento.

È anche per questo che la risposta dello studio a «quali modelli di base usate» è stata un'alzata di spalle. Mousavi ha detto che la maggior parte del lavoro si basa sulla loro ricerca e sui loro modelli, con partnership esterne e dati di addestramento catturati apposta. I modelli sono la parte facile da noleggiare. Il rig di cattura, i dati di addestramento e la pipeline che rende ripetibile un'inquadratura non lo sono.

La parte che l'industria dovrebbe notare

Netflix ha dichiarato a luglio che circa 300 titoli avevano usato una qualche forma di IA generativa. Ha anche comprato InterPositive, la società di tecnologia cinematografica di Ben Affleck. I due fatti insieme descrivono una strategia che non riguarda la sostituzione degli artisti: riguarda l'acquisto della pipeline che permette a un numero fisso di artisti di coprire più inquadrature.

Mousavi tornava sempre su una frase che suona come un requisito d'acquisto: «vogliamo assicurarci che non sia una scatola nera». Direttori della fotografia e scenografi devono poter plasmare il risultato. Se non possono, lo strumento non viene usato in una serie, per quanto bella sia la demo.

È questa la vera linea di divisione nel video con IA, adesso. Non aperto contro chiuso, non 4K contro 1080p. È se l'output può essere guidato da qualcuno con un'intenzione precisa, e se può essere guidato di nuovo domani, quando il regista cambia idea. Il sessanta per cento è facile. L'ultimo quaranta è il lavoro.