O último elo do pipeline do H3 agora é código aberto

Na última semana de outubro, apareceu no Hugging Face um conjunto de pesos chamado Open-H3-Regenerate-2K. O nome é truncado, a origem é sólida: a equipe Efficient-Large-Model, montada em conjunto pela NVIDIA e pelo MIT, com o código de inferência no repositório NVlabs/Sana.

O que ele faz cabe em uma frase: pega um rascunho de vídeo em baixa resolução e o regenera em versão de alta definição. Suporta 2560×1440 e chega a 3840×2160. Com uma condição: o rascunho precisa ter sido gerado pelo H3 da MiniMax.

A forma como a notícia circulou na China foi diferente da do exterior. Lá fora se discute o surgimento de mais um conjunto de pesos abertos; no Bilibili a briga é outra: como preservar a consistência. No fim de outubro, um tutorial de ComfyUI combinando Z-Image com Wan2.2 ficou com a melhor nota do dia, e os comentários perguntavam só se o rosto do personagem vai mudar e se os planos vão emendar. A ansiedade real não é o nível de qualidade de imagem, é se, num mesmo vídeo, a pessoa continua sendo a mesma pessoa.

O pipeline do H3 já vinha quebrado no último elo

Os pesos do MiniMax H3 foram abertos em agosto. A empresa divide o sistema em três etapas: processamento de contexto multimodal, geração base de áudio e vídeo e regeneração em alta resolução. Só estão abertas a primeira e, dentro da segunda, a H3-Base, responsável por produzir áudio e vídeo em 768P. A terceira, a H3-Regenerate-2K, que leva o 768P até 2K, sempre foi oferecida apenas via API.

A divisão faz sentido. O modelo gerador cuida do o que existe, o de refinamento cuida do com que nitidez. O problema é que, no momento em que o último elo existe só como API, o fluxo de trabalho do criador local trava ali: dá para chegar a 768P na placa de casa, mas, para ter uma cópia que aguente uma tela grande, é preciso subir o material, pagar por uso e aceitar a fila do servidor dos outros.

O que a NVIDIA e o MIT fizeram foi cobrir esse elo. Não mexeram no backbone do H3 nem no VAE de vídeo, congelaram todos os parâmetros e treinaram apenas uma camada LoRA de refinamento adicionada para a ocasião: mais ou menos colocar um par de óculos no modelo original. Na inferência, essa LoRA é mesclada com adaptadores que já existem na comunidade, como o FL2VA Turbo da LightX2V e o LMS Sharp, e então rodam só três passos de denoising para o detalhe crescer de novo na resolução alvo. A cena, a composição e a trajetória de movimento do rascunho são mantidas; só a nitidez é substituída.

De onde vem o fator 3,9

Quando a comunidade aberta faz restauração em alta definição, o medo não é um resultado ruim, é uma lentidão que o torna inutilizável. As condições divulgadas pela equipe: uma única B200, um clipe de 5 segundos depois do aquecimento, somando o upscale no espaço latente, os três passos de refinamento e a decodificação 2K. A implementação sem otimização leva 87.26 segundos; a otimizada, 22.45 segundos. Cerca de 3.9 vezes.

O ganho vem principalmente de dois lugares. Um é o upscaler latente, feito pela comunidade: amplia direto a representação latente do vídeo e elimina o custo de decodificar e recodificar repetidamente em alta resolução. O outro é o decodificador: ao trocar por uma decodificação VAE rápida, só essa etapa cai de cerca de 15 segundos para 1.6 segundo. Some-se a atenção esparsa do SoL-Engine e o cálculo em baixa precisão.

O número só faz sentido num caso concreto. Para um curta de 30 segundos, contando seis trechos de 5 segundos, 22 segundos por trecho dão pouco mais de dois minutos de regeneração, sem contar fila nem reexecução depois de falha. Antes esse processo levava um bom quarto de hora, e nesse meio-tempo você não ousava nem trocar de janela. Agora pelo menos dá para fazer outra coisa enquanto roda.

Claro que a B200 não é placa para gente comum. Numa GPU de consumo, o mesmo fluxo multiplica o tempo várias vezes. A empresa não divulgou dados de 4090 nem de 5090: isso é coisa para testar por conta própria.

Nota maior que a API oficial, mas os pontos a mais são bem específicos

A equipe comparou no RefinerBench-150, com entradas iguais e saídas todas em 2K. No UniPercept, avaliação de qualidade perceptiva, esta versão aberta faz 60.0 na média contra 53.4 da API oficial do H3-Regenerate-2K. Uma diferença de 6.6 pontos.

No VBench a conclusão é mais interessante: qualidade estética, qualidade de imagem e consistência do sujeito ficam com a versão aberta; suavidade de movimento e dinamismo vão por pouco para a API oficial. Traduzindo: a versão aberta deixa cada quadro mais bonito e mais estável, ao custo de um movimento corrigido com certa cautela. Para talking head, apresentação de produto ou material documental, onde a composição estática manda, é lucro; para luta, dança ou movimento de câmera rápido, pode não compensar.

Tem outro ponto que merece atenção: a nota de consistência do sujeito é mais alta. Acerta em cheio o que mais preocupa a comunidade chinesa. Onde a regeneração mais erra é em rostos e texturas de roupa: corrigindo quadro a quadro, no fim o protagonista virou outra pessoa. Os dados mostram que, pelo menos na faixa de 2K, o refinamento soma na preservação da identidade.

O lugar dele: não é modelo novo, é patch de pipeline

Para entender o valor disso, melhor não olhar como modelo. É middleware.

No último ano, o avanço da geração de vídeo aconteceu principalmente em dá para gerar e gera por quanto tempo. Agora o retorno marginal das duas coisas está caindo e o gargalo mudou de lugar: o que fazer depois que o rascunho sai. A prática do setor é produzir primeiro um rascunho em baixa resolução de um jeito barato e rápido, confirmar storyboard, ritmo e personagens, e então mandar os planos fechados para a alta definição. Essa etapa, antes uma API paga ou um upscale manual, agora tem uma implementação aberta que dá para instalar sozinho.

Para o criador independente, isso muda a estrutura de custo: compra a placa uma vez, depois paga a conta de luz. Para equipes pequenas, significa poder agendar a alta definição no processamento em lote noturno e buscar o material na manhã seguinte. Para as plataformas, significa parar de pagar pedágio a cada regeneração.

Mas não é almoço grátis. É preciso ter os pesos do H3-Base, aceitar o teto de qualidade de um rascunho em 768P e contar com VRAM para aguentar a decodificação 2K. Se o rascunho já vem com composição errada ou personagem errado, a regeneração só deixa o erro mais nítido.

O ecossistema já corre na frente do modelo

Desde que o H3 foi aberto em agosto, foram mais de 24 milhões de downloads em um mês e mais de 300 modelos derivados públicos: um dos mais baixados do ano. A cadeia de ferramentas em volta cresce rápido: a LightX2V lançou versões Turbo destiladas de quatro e oito passos, o ajuste comunitário Singularity é especializado em movimento, rosto e estilo, a FastVideo publicou uma prévia do FastH3 em quatro passos, a Pika um H3 Flex de seis passos de amostragem, e ComfyUI e Unsloth trouxeram cada uma sua adaptação e quantização.

A própria equipe da NVIDIA com o MIT não parou: além deste aprimoramento de vídeo, publicou o StreamRender-H3, modelo de renderização em streaming baseado no H3 Ref2VA, e o Sol-H3-VAE, decodificador rápido destilado do VAE de vídeo do H3.

Esse ritmo, modelo base aberto e módulos superiores completados um a um por equipes externas, na verdade é a primeira vez que o ecossistema de vídeo aberto funciona assim. Traz um efeito colateral: a vantagem relativa da API oficial encolhe. Quando dá para conseguir, localmente e com três passos de denoising, uma nota perceptiva maior, o motivo de pagar deixa de ser é melhor e passa a ser é mais fácil.

Vale testar?

Se você já produz com o H3, este repositório merece um clone e uma rodada. Olhe duas coisas: a consistência do sujeito do seu material em 2K e se a sua placa termina a decodificação num tempo aceitável. Se você só gera uns clipes de vez em quando, a API oficial continua mais tranquila: os 22 segundos de regeneração, na nuvem, tem outra pessoa esperando por você.

O que realmente importa é a direção. A geração de vídeo está saindo do tudo de uma vez para um processo em duas fases, rascunho e acabamento, e a fase de acabamento agora tem opção aberta. Nos próximos seis meses, o que vai definir a produtividade de um criador talvez não seja com qual modelo ele gera, mas o quão bem azeitado está o pipeline de pós-produção dele.