Eyeline Studios da Netflix: a IA generativa chega a 60%, o resto é o trabalho de verdade

A frase mais útil saída neste mês de uma conferência de VFX foi uma recusa.

“Não estamos fazendo prompting até chegar a planos e filmes. Não é isso que somos.” É Mohsen Mousavi, vice-presidente de virtual pioneering da Eyeline Studios, a casa de efeitos da Netflix, na View Conference de Turim. O currículo dele inclui a última temporada de Game of Thrones, então a recusa não é ingenuidade sobre o que os geradores conseguem fazer. É uma afirmação sobre onde o trabalho realmente está.

A estimativa dele para essa fronteira é a parte interessante: modelos generativos conseguem levar uma produção mais ou menos até 60 a 70 por cento do caminho. Chegar a 100 por cento é o que mais importa.

O que “produção híbrida” significa na prática

O método da Eyeline não é “gerar o plano”. É uma mistura de três: filmagem em live-action, efeitos visuais convencionais e ferramentas generativas, com a divisão decidida plano a plano, não projeto a projeto.

O fluxo começa antes de as câmeras rodarem. Um departamento de arte generativo explora desenhos ao lado de artistas tradicionais. Depois vem a técnica que carrega o peso maior: os cenários parciais. Os atores atuam em sets físicos incompletos, iluminados de forma relativamente chapada, e o entorno e a luz são reconstruídos depois, enquanto a performance original permanece intacta.

Mousavi descreve isso como uma extensão do departamento de arte tradicional, não uma substituição. A formulação faz trabalho de verdade. A função de um departamento de arte sempre foi decidir o que a câmera vê; a Eyeline está movendo parte dessa decisão para mais tarde no cronograma.

Por cima há uma camada de captura volumétrica. Imagens rodadas em um lugar podem ser transformadas em outro ambiente, e alguns desses ambientes são construídos sem chroma key nenhum. “Isso nos dá liberdade de luz e liberdade de câmera depois de filmar as performances”, disse Mousavi, com a ressalva de que a identidade e a atuação do ator precisam sobreviver ao processo.

Duas séries, dois problemas diferentes

Em Brazil '70: The Third Star, o drama sobre o título mundial da seleção em 1970, a Eyeline precisava encher estádios com multidões que parecessem emocionalmente responsivas, não repetidas como azulejo. A solução não foi uma técnica só: elementos de multidão filmados, sprites, CG convencional e métodos generativos, em camadas. O argumento de Mousavi é de orçamento, não artístico: fazer o mesmo trabalho com VFX tradicionais “teria sido muito, muito difícil dentro daquele orçamento”.

Em The American Experiment, um documentário histórico em cinco partes, o trabalho foi mais silencioso: extensões de fundo e poeira generativa, integradas a imagens reais. Poeira é um bom exemplo de onde essa tecnologia é realmente forte. É volumétrica, está em todo lugar numa rua de época, é caro simular de forma convincente, e ninguém na plateia vai checar uma partícula.

A Eyeline também mostrou como mudar a idade aparente de um ator mantendo a atuação por baixo, e um curta de pesquisa sobre ajustar posição de câmera e iluminação depois da filmagem. James Rustad, que comanda o grupo GenFX da Eyeline, deu ao público de Busan a escala de Brazil '70: mais de 1.300 planos de VFX, 45 artistas e um fluxo de quatro etapas —setup, narrativa, look, entrega— com uma decisão narrativa humana colocada de propósito entre a experimentação e o acabamento.

A parte honesta: fluidos

Palestras de conferência costumam terminar com a demo mais forte. Esta incluiu a mais fraca, de propósito.

A Eyeline trabalha em fluidos generativos controláveis, e Mousavi foi direto sobre o estado atual: essas simulações não são determinísticas e são muito difíceis de controlar. O objetivo é controle por keyframe de velocidade, viscosidade e turbulência, além de poder adicionar espuma ou respingo sem perturbar a simulação por baixo.

Aí ele disse uma coisa que só um supervisor de VFX em atividade diria: muitas vezes, em efeitos visuais, o que você realmente quer é quebrar a física do fluido. Água real não é dramática o suficiente. O requisito não é precisão física, é imprecisão dirigível. É um alvo completamente diferente do que um modelo texto-vídeo otimiza, e explica por que o estúdio constrói as próprias ferramentas em vez de fazer prompting nas dos outros.

Outras pesquisas mostradas: reestilizar uma captura 3D de Gaussian splatting do inverno para o outono, relighting de performances humanas assistido por IA e uma tentativa de construir uma cena 4D navegável a partir de uma gravação de câmera única. Para treinar os sistemas de relighting, a Eyeline usa um rig de 40 câmeras RED V-Raptor sincronizadas, e também construiu equipamento de captura mais portátil.

O trade-off que ninguém demonstra: luz chapada e olhares

Cenários parciais são uma inversão esperta de uma restrição muito antiga. Tradicionalmente, você constrói o set para a câmera ter algo real para filmar, e ilumina conforme a história. A Eyeline inverte a ordem: filma a performance sob uma luz relativamente chapada e uniforme, e depois reconstrói o mundo em volta.

A luz chapada é o preço. É deliberadamente desinteressante, porque luz interessante gravada no plate vira problema quando você substitui o ambiente: não dá para colocar uma lâmpada onde não havia nenhuma se o rosto do ator já tem a sombra dura de uma janela que não existe mais. Filmar chapado mantém a performance utilizável e empurra toda decisão de luz para o fim da linha, onde ainda pode mudar.

O que não dá para empurrar para o fim da linha é a performance em si. A posição da Eyeline é consistente nisso: a identidade e a atuação do ator precisam sobreviver. Um ambiente reconstruído não conserta um take em que dá para ver que o ator estava olhando para uma bola de tênis num cabo. A técnica compra liberdade de luz e de câmera, não liberdade em relação à direção.

É também por isso que o estúdio insiste que é uma extensão do departamento de arte, não uma substituição. Alguém ainda precisa decidir como o quarto é antes de qualquer um poder trocá-lo depois.

Por que o número 60/70 é a história inteira

Pense no que compõe os últimos 30 por cento na pós-produção profissional: consistência temporal ao longo de um plano, resolução que aguenta um acabamento em 4K, alta faixa dinâmica, e a capacidade de um diretor de fotografia dizer “mais escuro à esquerda, e a janela deveria ser mais tarde no dia” e conseguir isso, de forma repetível, numa quinta-feira.

Modelos generativos são extraordinários nos primeiros 60 por cento porque é ali que mora a novidade. São fracos nos últimos 30 porque é ali que mora a consistência, e consistência é o oposto de amostragem.

É também por isso que a resposta do estúdio a “quais modelos de fundação vocês usam” foi um dar de ombros. Mousavi disse que a maior parte do trabalho se baseia na pesquisa e nos modelos próprios, com parcerias externas e dados de treinamento capturados sob medida. Modelos são a parte fácil de alugar. O rig de captura, os dados de treinamento e o pipeline que torna um plano repetível não são.

A parte que a indústria deveria notar

A Netflix disse em julho que cerca de 300 títulos usaram algum tipo de IA generativa. Também comprou a InterPositive, a empresa de tecnologia cinematográfica de Ben Affleck. Os dois fatos juntos descrevem uma estratégia que não é sobre substituir artistas: é sobre comprar o pipeline que permite a um número fixo de artistas cobrir mais planos.

Mousavi voltava sempre a uma frase que soa como requisito de compras: “queremos garantir que não seja uma caixa-preta”. Diretores de fotografia e designers de produção precisam poder moldar o resultado. Se não puderem, a ferramenta não é usada numa série, por melhor que a demo pareça.

Essa é a verdadeira linha divisória no vídeo com IA agora. Não aberto contra fechado, não 4K contra 1080p. É se a saída pode ser conduzida por alguém com uma intenção específica, e se pode ser conduzida de novo amanhã, quando o diretor mudar de ideia. Sessenta por cento é fácil. Os últimos quarenta são o trabalho.