Pika H3 Flex: seis passos e o som a nascer com a imagem

Cinquenta passos de desruído é um número com que ninguém fora deste setor devia ter de se preocupar. É também, em silêncio, o número que decide se um modelo de vídeo é uma demonstração ou uma ferramenta.

O lançamento novo da Pika assenta nesse número. O Pika H3 Flex pega no modelo H3 da MiniMax, faz afinação, destila os 50 passos do professor para 6 com destilação por correspondência de distribuição projetada, e depois oferece os pesos do adaptador e o código de inferência. Seis passos, e a imagem e o som saem juntos.

Essa última parte merece ênfase. A maioria dos modelos «áudio-vídeo» gera um clipe e depois uma banda sonora que lhe corresponde mais ou menos. A geração conjunta significa que o áudio é desruidado no mesmo ciclo que os frames, portanto uma porta a bater e o sobressalto são o mesmo acontecimento e não duas coisas que por acaso coincidem.

O que está de facto aberto

Dois adaptadores LoRA. Um trata do condicionamento por texto e por primeiro e último frame; o outro trata da entrada multimodal de referência. Ao lado deles, a Pika publicou os componentes base do MiniMax H3 e ferramentas de inferência local, mais um fluxo de trabalho para ComfyUI e um caminho pelo Diffusers da Hugging Face.

A saída nativa é 480P ou 768P, de cinco a quinze segundos, com áudio estéreo sincronizado. Parece modesto até se ver o que a API acrescenta: melhoramento para 1080P, 2K e 4K, e separação de faixas que divide a banda sonora gerada em cinco pistas — diálogo, música, efeitos sonoros, foley e ambiente.

A separação de faixas é a funcionalidade pela qual eu pagaria. Quem já tentou usar vídeo gerado numa edição a sério conhece o problema: o áudio é um bloco inseparável. Não se baixa a música por baixo de uma narração, não se substitui o diálogo por outro idioma, não se remove o ambiente porque está a lutar com o tom de sala do plano seguinte. Cinco pistas transformam um clipe gerado em material filmado.

O fluxo de trabalho pretendido decorre daí: gerar em baixa resolução, escolher a toma de que se gosta, depois melhorar. Rascunho barato, acabamento caro. É assim que todas as outras partes do cinema já funcionam, e é bom ver um fornecedor de modelos admiti-lo em vez de fingir que cada geração devia ser uma renderização final.

Os números de velocidade, com contexto

A Pika publicou também resultados de otimização da inferência alojada. Em 8 GPUs NVIDIA B300, mantendo os pesos e o amostrador de seis passos, gerar um clipe de cinco segundos em 768P com áudio passou de 3,409 segundos para 2,129 segundos, somando condicionamento, desruído e descodificação. Cerca de 1,6x.

Um ganho de engenharia de 1,6x não é manchete. É, no entanto, o tipo de número que decide a economia unitária quando se correm milhões de rascunhos, e é refrescante que tenham publicado o antes e o depois em vez de uma percentagem contra uma base não declarada.

As alegações de qualidade são menos verificáveis. A Pika diz que o H3 Flex ficou no topo em cinco métricas de qualidade visual e sonora entre os modelos com que se comparou, e que ficou em oitavo no quadro de texto-para-vídeo do DesignArena — o modelo de vídeo aberto mais bem colocado lá. Comparações feitas pelo fornecedor são comparações feitas pelo fornecedor. A posição no DesignArena é o sinal mais útil, porque é votada às cegas por desconhecidos a quem a arquitetura não interessa.

Dar instruções a um modelo que se ouve

Áudio e vídeo conjuntos mudam a estratégia de prompt de uma forma que não é óbvia até se experimentar. Se se descrever apenas a imagem, o modelo inventa uma paisagem sonora à altura, e normalmente escolhe algo genérico: tom de sala, uma sirene ao longe, um zumbido indeterminado.

Portanto, escreva o som de forma explícita. Nomeie a fonte de cada ruído que quer e, mais importante, nomeie o que deve estar em silêncio. «Uma única porta fecha na marca dos dois segundos, sem música, sem pássaros» produz algo utilizável. «Uma cena tensa numa porta» produz uma aproximação de tensão com áudio de banco, o que é pior do que silêncio.

Para diálogo, mantenha as falas curtas e coloque-as cedo. O modelo tem cinco a quinze segundos, e uma frase que consome nove não deixa espaço para o plano de reação que se queria. Se uma fala importa mais do que a imagem, gere-a como toma separada e corte-a na edição.

E trate a primeira geração como um teste de áudio, não de imagem. Um clipe com iluminação medíocre e foley perfeito é mais útil do que um plano bonito onde os passos chegam meio segundo atrasados.

Porque o H3 está a tornar-se uma camada base

Dois dias antes do lançamento da Pika, uma equipa da NVIDIA e do MIT publicou o Open-H3-Regenerate-2K, uma implementação aberta para regenerar rascunhos de baixa resolução em 2K, com regeneração nativa em 4K e um ganho de velocidade reportado de 3,9x numa única B200 depois do aquecimento.

Dois grupos independentes, uma semana, ambos a construir sobre o mesmo modelo base chinês, em direções opostas: um a comprimir o ciclo de amostragem, o outro a acrescentar resolução. É este o aspeto de uma camada base. Ninguém discute qual modelo de fundação ganha; discute-se quem é dono da camada acima.

Para quem cria, a consequência prática é que a pergunta «qual modelo» fica cada vez menos interessante. Se a base aberta forte é partilhada, a diferenciação passa para os adaptadores, os fluxos de trabalho e o que a API acrescenta por cima — que neste caso é resolução e faixas.

O que continua difícil

Cinco a quinze segundos é curto. Chega para um plano, não para uma cena. Todos os modelos desta classe continuam a lutar com as mesmas três coisas: mãos a fazer trabalho fino, texto em superfícies e continuidade através de um corte. Nada neste lançamento afirma o contrário, o que agradeço.

Os 768P nativos são também uma limitação real para quem entrega para algo maior do que um ecrã de telemóvel. O caminho para 2K e 4K existe, mas passa pela API da Pika, o que significa que os pesos abertos dão o rascunho e o serviço pago dá o acabamento. É um modelo de negócio, não uma traição, mas implica que «aberto» aqui quer dizer «aberto o suficiente para avaliar e construir por cima».

E a destilação para seis passos tem um custo fácil de ignorar. Menos passos significa menos espaço para o amostrador explorar. Os modelos destilados tendem a ser excelentes na distribuição em que foram destilados e ligeiramente frágeis fora dela — proporções invulgares, restrições densas no prompt, entradas de referência que não estão bem na distribuição. Se o trabalho é convencional, nunca se nota. Se é estranho, nota-se.

Como experimentar

Com o ComfyUI a correr, o ficheiro de fluxo é o caminho mais rápido: carregar, apontar para os adaptadores, gerar em 768P, ouvir o áudio. Julgue primeiro a sincronia, não a imagem. É nos movimentos de lábios e nos sons de impacto que a geração conjunta funciona ou não.

No Diffusers, a pipeline é convencional e os adaptadores fundem-se na base, portanto não se pagam passos extra na inferência. Conte com uma imagem de referência a prolongar o tempo de geração, já que os seus tokens entram na mesma sequência que o texto e o alvo.

Depois pegue num clipe de que goste realmente e passe-o pela API para obter as faixas. É o momento em que a ferramenta deixa de ser um brinquedo. Poder silenciar a música, manter o foley e meter outra faixa de voz é a diferença entre «isto foi gerado por IA» e «isto serve».

O argumento discreto deste lançamento

Durante dois anos o discurso foi modelos maiores. O discurso da Pika aqui é um ciclo de amostragem mais pequeno, adaptadores abertos e uma superfície de pós-produção que respeita a forma como a edição realmente funciona.

É uma história menos excitante, e é a que costuma sobreviver ao contacto com um prazo. Seis passos não é um número de marketing. É a constatação de que o estrangulamento passou de «consegue gerar» para «consigo pagar iterar», e alguém finalmente pôs preço à resposta.