Eyeline Studios de Netflix: la IA generativa llega al 60 %, el resto es el trabajo de verdad

La frase más útil que dejó este mes una conferencia de VFX fue una negativa.

«No estamos haciendo prompting para llegar a planos y películas. No somos eso». Lo dijo Mohsen Mousavi, vicepresidente de virtual pioneering en Eyeline Studios, la casa de efectos propiedad de Netflix, en la View Conference de Turín. En su currículum está la última temporada de Juego de Tronos, así que la negativa no es ingenuidad sobre lo que saben hacer los generadores. Es una afirmación sobre dónde está realmente el trabajo.

Su cálculo de esa frontera es lo interesante: los modelos generativos pueden llevar una producción aproximadamente al 60 o 70 por ciento del camino. Llegar al 100 por ciento es lo que más importa.

Qué significa «producción híbrida» en la práctica

El método de Eyeline no es «generar el plano». Es una mezcla de tres: rodaje en vivo, efectos visuales convencionales y herramientas generativas, y el reparto se decide plano a plano, no proyecto a proyecto.

El flujo empieza antes de que giren las cámaras. Un departamento de arte generativo explora diseños junto a artistas tradicionales. Luego llega la técnica que carga con casi todo el peso: los decorados parciales. Los intérpretes actúan sobre sets físicos incompletos, iluminados de forma bastante plana, y el entorno y la luz se reconstruyen después mientras la interpretación original se mantiene intacta.

Mousavi lo describe como una extensión del departamento de arte tradicional, no un reemplazo. La fórmula hace trabajo real. La labor de un departamento de arte siempre fue decidir qué ve la cámara; Eyeline mueve parte de esa decisión más tarde en el calendario.

Encima hay una capa de captura volumétrica. El material rodado en un lugar puede transformarse en otro entorno, y algunos de esos entornos se construyen sin croma en absoluto. «Nos da libertad de luz y libertad de cámara después de rodar las interpretaciones», dijo Mousavi, con la advertencia de que la identidad y la actuación del actor tienen que sobrevivir al proceso.

Dos series, dos problemas distintos

Para Brazil '70: The Third Star, el drama sobre el título mundial de la selección en 1970, Eyeline tenía que llenar estadios con multitudes que se leyeran como emocionalmente reactivas y no como un mosaico repetido. La solución no fue una sola técnica: elementos de multitud rodados, sprites, CG convencional y métodos generativos, por capas. El argumento de Mousavi es de presupuesto, no artístico: hacer lo mismo con VFX tradicionales «habría sido muy, muy difícil dentro de ese presupuesto».

Para The American Experiment, un documental histórico en cinco partes, el trabajo fue más silencioso: extensiones de fondo y polvo generativo, integrados con material rodado. El polvo es un buen ejemplo de dónde es realmente fuerte esta tecnología. Es volumétrico, está en todas partes en una calle de época, es caro de simular de forma convincente y nadie del público va a verificar una sola partícula.

Eyeline también mostró cómo cambiar la edad aparente de un intérprete manteniendo la actuación de base, y un corto de investigación sobre ajustar la posición de cámara y la luz después del rodaje. James Rustad, que dirige el grupo GenFX de Eyeline, dio al público de Busan la escala de Brazil '70: más de 1.300 planos de VFX, 45 artistas y un flujo de cuatro etapas —setup, narrativa, look, entrega— con una decisión narrativa humana colocada a propósito entre la experimentación y el acabado.

La parte honesta: los fluidos

Las charlas de conferencia suelen cerrar con la demo más potente. Esta incluyó la más floja, a propósito.

Eyeline trabaja en fluidos generativos controlables, y Mousavi fue directo sobre el estado actual: estas simulaciones no son deterministas y son muy difíciles de controlar. El objetivo es el control por keyframes de velocidad, viscosidad y turbulencia, además de poder añadir espuma o salpicaduras sin perturbar la simulación de base.

Luego dijo algo que solo diría un supervisor de VFX en activo: a menudo, en efectos visuales, lo que de verdad quieres es romper la física del fluido. El agua real no es lo bastante dramática. El requisito no es exactitud física, es inexactitud dirigible. Es un objetivo completamente distinto del que optimiza un modelo texto-vídeo, y explica por qué el estudio construye sus propias herramientas en lugar de hacer prompting sobre las de otros.

Otras investigaciones mostradas: reestilizar una captura 3D de Gaussian splatting del invierno al otoño, relighting de interpretaciones humanas asistido por IA y un intento de construir una escena 4D navegable a partir de una grabación de una sola cámara. Para entrenar los sistemas de relighting, Eyeline usa un rig de 40 cámaras RED V-Raptor sincronizadas, y también ha construido equipo de captura más portátil.

El intercambio que nadie demuestra: luz plana y miradas

Los decorados parciales son una inversión ingeniosa de una restricción muy antigua. Tradicionalmente se construye el set para que la cámara tenga algo real que filmar, y se ilumina según la historia. Eyeline invierte el orden: rodar la interpretación con una luz relativamente plana y uniforme, y luego reconstruir el mundo alrededor.

La luz plana es el precio. Es deliberadamente poco interesante, porque una luz interesante cocida en el plato se convierte en un problema cuando sustituyes el entorno: no puedes poner una lámpara donde no había ninguna si la cara del actor ya tiene la sombra dura de una ventana que ya no existe. Rodar plano mantiene la interpretación utilizable y empuja cada decisión de luz aguas abajo, donde todavía se puede cambiar.

Lo que no se puede empujar aguas abajo es la interpretación en sí. El discurso de Eyeline es coherente en esto: la identidad y la actuación del actor tienen que sobrevivir. Un entorno reconstruido no arregla una toma en la que se nota que el intérprete miraba una pelota de tenis en un palo. La técnica compra libertad de luz y de cámara, no libertad frente a la dirección.

Por eso el estudio insiste en que es una extensión del departamento de arte y no un reemplazo. Alguien tiene que seguir decidiendo cómo es la habitación antes de que nadie pueda sustituirla después.

Por qué la cifra 60/70 es toda la historia

Piensa en qué compone el último 30 por ciento en postproducción profesional: consistencia temporal a lo largo de un plano, resolución que aguante un acabado en 4K, alto rango dinámico y que un director de fotografía pueda decir «más oscuro a la izquierda, y la ventana debería ser más tarde del día» y obtener eso, de forma repetible, un jueves.

Los modelos generativos son extraordinarios en el primer 60 por ciento porque ahí vive la novedad. Son flojos en el último 30 porque ahí vive la consistencia, y la consistencia es lo contrario del muestreo.

Por eso la respuesta del estudio a «¿qué modelos fundacionales usáis?» fue un encogimiento de hombros. Mousavi dijo que la mayor parte del trabajo se basa en su propia investigación y sus propios modelos, con colaboraciones externas y datos de entrenamiento capturados a medida. Los modelos son la parte fácil de alquilar. El rig de captura, los datos de entrenamiento y el pipeline que hace repetible un plano no lo son.

La parte que la industria debería notar

Netflix dijo en julio que unos 300 títulos habían usado algún tipo de IA generativa. También ha comprado InterPositive, la empresa de tecnología cinematográfica de Ben Affleck. Los dos hechos juntos describen una estrategia que no va de sustituir artistas: va de comprar el pipeline que permite a un número fijo de artistas cubrir más planos.

Mousavi volvía una y otra vez a una frase que suena a requisito de compras: «queremos asegurarnos de que no es una caja negra». Los directores de fotografía y los diseñadores de producción tienen que poder moldear el resultado. Si no pueden, la herramienta no se usa en una serie, por muy buena que se vea la demo.

Esa es la verdadera línea divisoria del vídeo con IA ahora mismo. No abierto contra cerrado, no 4K contra 1080p. Es si la salida puede ser dirigida por alguien con una intención concreta, y si puede volver a dirigirse mañana cuando el director cambie de idea. El sesenta por ciento es fácil. El último cuarenta es el trabajo.