← Voltar ao blog
Aicerca de 8 min de leitura

O relatório técnico do Kling diz que o gargalo não é o renderizador

Publicado 10 de nov. de 2026
O relatório técnico do Kling diz que o gargalo não é o renderizador

A equipe do Kling publicou em 3 de novembro um relatório técnico que se lê menos como anúncio de modelo e mais como uma argumentação sobre onde o trabalho de fato está. O título é seco: «Behind Video Generation». A tese é mais seca ainda. A qualidade da geração, escrevem os autores, é a projeção da compreensão multimodal por toda a cadeia de dados, condicionamento, alinhamento e avaliação.

Traduzindo do dialeto da pesquisa: desenhar não é mais a parte difícil. Decidir o que desenhar, com detalhe suficiente, e depois conseguir explicar por que um plano falhou — isso é a parte difícil.

O relatório tem perto de cinquenta autores e está em alta na lista diária de papers do Hugging Face, o que, para um documento sem pesos anexados, já é um sinal por si. Nada está sendo liberado. Sem código, sem checkpoints. O que se libera é a descrição da pilha.

Quadro, clipe, plano, sequência

O texto abre com uma linha do tempo de quatro anos. 2023 foi aspiracional. 2024 produziu demonstrações que impressionavam e não inspiravam confiança. 2025 chegou a planos que uma produção conseguiria usar de verdade. 2026 é onde os sistemas geram sequências curtas coerentes — vários planos, um sujeito que permanece, atuação, linguagem de câmera, diálogo, música, efeitos.

A unidade de progresso mudou junto: quadro, depois clipe, depois plano, depois sequência. Não é um reenquadramento cosmético. A qualidade em nível de sequência é composicional. Restrições interagem, erros se acumulam, e o sistema precisa inferir uma intenção criativa latente a partir de entradas bagunçadas para então expressar essa intenção como condições que um gerador consiga executar. Um modelo que só foi avaliado em quadros isolados não tem como aprender isso.

A color grading suite with a large reference monitor and a timeline below it

Uma espinha dorsal, muitos especialistas

Por baixo está o Kling-MLLM: um modelo multimodal autorregressivo que recebe imagem, vídeo, áudio, áudio e vídeo sincronizados e entrada intercalada. Três tamanhos — um denso de 27B, um MoE de 35B-A3B e um MoE de 397B-A17B — com espinhas dorsais de linguagem e visão inicializadas a partir de checkpoints Qwen3.5 a Qwen3.8.

A torre de áudio muda com a escala. As variantes menores seguem o desenho do Qwen3-Omni e codificam mono a 16 kHz com 13 tokens por segundo. As maiores fundem características de Mel e de waveform-VAE numa torre de dois ramos a 25 tokens por segundo. O treino roda um currículo de quatro etapas: inicialização acústica, treino multimodal conjunto, expansão de capacidade temporal, consolidação de contexto longo.

Depois a base passa por pós-treino e se desdobra em especialistas — legendador, melhorador de prompt, codificador de texto, modelo de recompensa, avaliador. A vantagem de compartilhar uma espinha dorsal é que conhecimento visual, temporal e acústico é aprendido uma vez e reaproveitado, enquanto cada tarefa a jusante escolhe o próprio equilíbrio entre precisão e latência.

Um detalhe que vale copiar mesmo para quem nunca vai tocar em vídeo: fazer a média dos pesos da primeira e da última etapa do currículo superou qualquer um dos checkpoints isolados. É um truque barato com um resultado incomumente limpo.

A legenda é um contrato

O meio do relatório trata de legendas, e é a parte que eu entregaria a qualquer pessoa que escreve prompt para viver.

Um transformer de difusão vê muito menos amostras de treino do que um modelo de linguagem, então cada amostra precisa carregar o máximo de informação possível. Essa informação chega como uma legenda escrita por outro modelo. Os autores tratam, portanto, a legenda como um contrato semântico e especificam seis famílias de informação que ela precisa cobrir: sujeito e ação; espaço e composição; cinematografia e luz; tempo e planos; texto visível e audível; estética.

Cada família vem com uma falha nomeada. Pule os campos de cinematografia e você obtém o que o texto chama de comportamento genérico de câmera — estilo atraente e irreprodutível. Pule o detalhe de sujeito e ação e o gerador produz pose estática, troca de papéis, ações sem resolução. Essa lista é a coisa mais útil do documento, porque converte «meu prompt não funciona» em diagnóstico.

Eles estendem o contrato para legendagem ancorada em referência com três propriedades: vinculação delimitada, suficiência residual, consistência de autoridade. E descrevem um movimento de escala de dados quase atrevido — dois vídeos quaisquer com similaridade visual ou acústica suficiente podem ser usados como referência e alvo, com a legenda descrevendo o que compartilham e o que muda. O par não precisa vir de uma edição real.

Prompts que as pessoas realmente escrevem

Usuários reais não escrevem legendas. Eles digitam três linhas e apertam enter. Por isso a pilha inclui melhoramento de prompt em duas camadas: uma versão básica que traduz a intenção para a distribuição de legendas, e um estágio final que roda aprendizado por reforço com o codificador de texto e o DiT congelados no ciclo, atualizando com recompensas em nível de vídeo para qualidade visual, qualidade de movimento e alinhamento de texto. Existe também uma camada agêntica que roda antes de tudo, refinando a história e buscando exemplos, porque boa parte dos prompts de produção já é escrita por IA — longos, fluentes, internamente inconsistentes.

A seção do codificador de texto é a que eu não esperava. A tese é que um bom codificador de condicionamento vem de treino perceptual, não de capacidade linguística mais forte; que benchmarks gerais de QA medem decodificação autorregressiva, não os estados ocultos que um DiT realmente consome; e que codificadores candidatos podem ser triados só com texto, antes de alguém pagar pelo treino de ponta a ponta. Adaptar a espinha dorsal e estabilizar os pesos de mistura elevou a taxa de preferência humana de 1,10 para 1,27 contra uma linha de base Qwen.

As recompensas se dividem em duas. Um modelo geral de recompensa montado sobre o 27B escreve críticas explicáveis com etiquetas de defeito, intervalos temporais, caixas por quadro e justificativas. Um modelo de recompensa de decisão pontua muitas dimensões num único prefill. Juntos, servem a cinco funções: RL do DiT, RL do melhoramento de prompt, avaliação automática, seleção de checkpoint, filtragem de dados.

Os números e a ressalva

As pontuações divulgadas para o maior modelo incluem 72,48 no LongVideoBench, 77,88 no MVBench, 89,52 no MMBench-CN e taxa de erro de palavra de 1,18 no LibriSpeech clean. O Kling-Captioner marca 21,84 de acurácia e 94,81 de cobertura no VidCapBench com o 35B-A3B, contra 20,23 e 94,15 do Doubao2.1-Lite em modo de raciocínio. O modelo de recompensa de decisão chega a 77,86 de acurácia macro no teste pareado interno da equipe, contra 73,54 do Gemini-4-Argon.

Duas ressalvas. Esses são os números da própria equipe, e pelo menos uma leitura atenta já argumentou que o paper exagera as vitórias do seu modelo de recompensa em benchmarks públicos. A comparação com o Doubao também é mista — em vários outros benchmarks os próprios autores dizem que um modelo concorrente lidera. Esse tipo de admissão é mais crível do que uma varredura limpa, mas não torna os números de manchete independentes.

O ponto mais profundo continua de pé, independentemente disso. Se a qualidade é composicional, uma pontuação agregada não diagnostica nada. O mesmo clipe ruim pode vir de uma legenda que omitiu supervisão, de um condicionamento que descartou a estrutura temporal, de um modelo de recompensa que prefere movimento suave e estático, ou de um avaliador que nunca testou o evento que o prompt pedia. A recomendação do paper é avaliação decomposta e específica por tarefa. Quem já entregou um recurso de vídeo sabe com que frequência «o modelo é ruim» acaba sendo «o teste estava cego».

Por que isso importa fora da Kling

No último ano, a competição visível foi sobre resolução, duração e preço por segundo. São coisas reais, e também as mais fáceis de comparar numa tabela. Este relatório argumenta que a tabela está medindo a camada errada, e faz isso com detalhe interno suficiente para que concorrentes possam verificar o raciocínio.

Se os autores estiverem certos, a próxima rodada de vitórias não virá de um renderizador melhor. Virá de quem construir o pipeline mais limpo entre «o que o cliente quis dizer» e «o que o gerador executa» — e de quem conseguir dizer, rápido e com precisão, qual elo dessa corrente arrebentou.

Artigos relacionados