O relatório técnico do Kling diz que o gargalo não é o renderizador

A equipe do Kling publicou em 3 de novembro um relatório técnico que se lê menos como anúncio de modelo e mais como uma argumentação sobre onde o trabalho de fato está. O título é seco: «Behind Video Generation». A tese é mais seca ainda. A qualidade da geração, escrevem os autores, é a projeção da compreensão multimodal por toda a cadeia de dados, condicionamento, alinhamento e avaliação.
Traduzindo do dialeto da pesquisa: desenhar não é mais a parte difícil. Decidir o que desenhar, com detalhe suficiente, e depois conseguir explicar por que um plano falhou — isso é a parte difícil.
O relatório tem perto de cinquenta autores e está em alta na lista diária de papers do Hugging Face, o que, para um documento sem pesos anexados, já é um sinal por si. Nada está sendo liberado. Sem código, sem checkpoints. O que se libera é a descrição da pilha.
Quadro, clipe, plano, sequência
O texto abre com uma linha do tempo de quatro anos. 2023 foi aspiracional. 2024 produziu demonstrações que impressionavam e não inspiravam confiança. 2025 chegou a planos que uma produção conseguiria usar de verdade. 2026 é onde os sistemas geram sequências curtas coerentes — vários planos, um sujeito que permanece, atuação, linguagem de câmera, diálogo, música, efeitos.
A unidade de progresso mudou junto: quadro, depois clipe, depois plano, depois sequência. Não é um reenquadramento cosmético. A qualidade em nível de sequência é composicional. Restrições interagem, erros se acumulam, e o sistema precisa inferir uma intenção criativa latente a partir de entradas bagunçadas para então expressar essa intenção como condições que um gerador consiga executar. Um modelo que só foi avaliado em quadros isolados não tem como aprender isso.

Uma espinha dorsal, muitos especialistas
Por baixo está o Kling-MLLM: um modelo multimodal autorregressivo que recebe imagem, vídeo, áudio, áudio e vídeo sincronizados e entrada intercalada. Três tamanhos — um denso de 27B, um MoE de 35B-A3B e um MoE de 397B-A17B — com espinhas dorsais de linguagem e visão inicializadas a partir de checkpoints Qwen3.5 a Qwen3.8.
A torre de áudio muda com a escala. As variantes menores seguem o desenho do Qwen3-Omni e codificam mono a 16 kHz com 13 tokens por segundo. As maiores fundem características de Mel e de waveform-VAE numa torre de dois ramos a 25 tokens por segundo. O treino roda um currículo de quatro etapas: inicialização acústica, treino multimodal conjunto, expansão de capacidade temporal, consolidação de contexto longo.
Depois a base passa por pós-treino e se desdobra em especialistas — legendador, melhorador de prompt, codificador de texto, modelo de recompensa, avaliador. A vantagem de compartilhar uma espinha dorsal é que conhecimento visual, temporal e acústico é aprendido uma vez e reaproveitado, enquanto cada tarefa a jusante escolhe o próprio equilíbrio entre precisão e latência.
Um detalhe que vale copiar mesmo para quem nunca vai tocar em vídeo: fazer a média dos pesos da primeira e da última etapa do currículo superou qualquer um dos checkpoints isolados. É um truque barato com um resultado incomumente limpo.
A legenda é um contrato
O meio do relatório trata de legendas, e é a parte que eu entregaria a qualquer pessoa que escreve prompt para viver.
Um transformer de difusão vê muito menos amostras de treino do que um modelo de linguagem, então cada amostra precisa carregar o máximo de informação possível. Essa informação chega como uma legenda escrita por outro modelo. Os autores tratam, portanto, a legenda como um contrato semântico e especificam seis famílias de informação que ela precisa cobrir: sujeito e ação; espaço e composição; cinematografia e luz; tempo e planos; texto visível e audível; estética.
Cada família vem com uma falha nomeada. Pule os campos de cinematografia e você obtém o que o texto chama de comportamento genérico de câmera — estilo atraente e irreprodutível. Pule o detalhe de sujeito e ação e o gerador produz pose estática, troca de papéis, ações sem resolução. Essa lista é a coisa mais útil do documento, porque converte «meu prompt não funciona» em diagnóstico.
Eles estendem o contrato para legendagem ancorada em referência com três propriedades: vinculação delimitada, suficiência residual, consistência de autoridade. E descrevem um movimento de escala de dados quase atrevido — dois vídeos quaisquer com similaridade visual ou acústica suficiente podem ser usados como referência e alvo, com a legenda descrevendo o que compartilham e o que muda. O par não precisa vir de uma edição real.
Prompts que as pessoas realmente escrevem
Usuários reais não escrevem legendas. Eles digitam três linhas e apertam enter. Por isso a pilha inclui melhoramento de prompt em duas camadas: uma versão básica que traduz a intenção para a distribuição de legendas, e um estágio final que roda aprendizado por reforço com o codificador de texto e o DiT congelados no ciclo, atualizando com recompensas em nível de vídeo para qualidade visual, qualidade de movimento e alinhamento de texto. Existe também uma camada agêntica que roda antes de tudo, refinando a história e buscando exemplos, porque boa parte dos prompts de produção já é escrita por IA — longos, fluentes, internamente inconsistentes.
A seção do codificador de texto é a que eu não esperava. A tese é que um bom codificador de condicionamento vem de treino perceptual, não de capacidade linguística mais forte; que benchmarks gerais de QA medem decodificação autorregressiva, não os estados ocultos que um DiT realmente consome; e que codificadores candidatos podem ser triados só com texto, antes de alguém pagar pelo treino de ponta a ponta. Adaptar a espinha dorsal e estabilizar os pesos de mistura elevou a taxa de preferência humana de 1,10 para 1,27 contra uma linha de base Qwen.
As recompensas se dividem em duas. Um modelo geral de recompensa montado sobre o 27B escreve críticas explicáveis com etiquetas de defeito, intervalos temporais, caixas por quadro e justificativas. Um modelo de recompensa de decisão pontua muitas dimensões num único prefill. Juntos, servem a cinco funções: RL do DiT, RL do melhoramento de prompt, avaliação automática, seleção de checkpoint, filtragem de dados.
Os números e a ressalva
As pontuações divulgadas para o maior modelo incluem 72,48 no LongVideoBench, 77,88 no MVBench, 89,52 no MMBench-CN e taxa de erro de palavra de 1,18 no LibriSpeech clean. O Kling-Captioner marca 21,84 de acurácia e 94,81 de cobertura no VidCapBench com o 35B-A3B, contra 20,23 e 94,15 do Doubao2.1-Lite em modo de raciocínio. O modelo de recompensa de decisão chega a 77,86 de acurácia macro no teste pareado interno da equipe, contra 73,54 do Gemini-4-Argon.
Duas ressalvas. Esses são os números da própria equipe, e pelo menos uma leitura atenta já argumentou que o paper exagera as vitórias do seu modelo de recompensa em benchmarks públicos. A comparação com o Doubao também é mista — em vários outros benchmarks os próprios autores dizem que um modelo concorrente lidera. Esse tipo de admissão é mais crível do que uma varredura limpa, mas não torna os números de manchete independentes.
O ponto mais profundo continua de pé, independentemente disso. Se a qualidade é composicional, uma pontuação agregada não diagnostica nada. O mesmo clipe ruim pode vir de uma legenda que omitiu supervisão, de um condicionamento que descartou a estrutura temporal, de um modelo de recompensa que prefere movimento suave e estático, ou de um avaliador que nunca testou o evento que o prompt pedia. A recomendação do paper é avaliação decomposta e específica por tarefa. Quem já entregou um recurso de vídeo sabe com que frequência «o modelo é ruim» acaba sendo «o teste estava cego».
Por que isso importa fora da Kling
No último ano, a competição visível foi sobre resolução, duração e preço por segundo. São coisas reais, e também as mais fáceis de comparar numa tabela. Este relatório argumenta que a tabela está medindo a camada errada, e faz isso com detalhe interno suficiente para que concorrentes possam verificar o raciocínio.
Se os autores estiverem certos, a próxima rodada de vitórias não virá de um renderizador melhor. Virá de quem construir o pipeline mais limpo entre «o que o cliente quis dizer» e «o que o gerador executa» — e de quem conseguir dizer, rápido e com precisão, qual elo dessa corrente arrebentou.
Artigos relacionados
Uma planilha comunitária de toques que desliga os anúncios dos Android chineses
Não mexe no sistema, não desbloqueia nada, não faz flash de nada. Só vira os botões que os fabricantes já deixaram à mostra. O preço é uma lista que alguém precisa continuar escrevendo.
GPT Image 2.6 manteve o preço por token e elevou a fatura
O GPT Image 2.6 mantém cada tarifa por token do 2.5 e mesmo assim custa mais por imagem, porque boa parte do trabalho acontece agora nos tokens de saída. Onze dias após o lançamento, a estrutura de preços diz mais que o ranking.
Alguém reconstruiu o IDM por fora e anotou o que não tocou
Uma reimplementação em Rust do Internet Download Manager promete 5 vezes a velocidade e 86 idiomas. O documento mais interessante é o parágrafo que explica como ela foi feita sem copiar nada.
Rune é um framework de UI em Rust feito para que um agente possa verificar o próprio trabalho
Rune renderiza sem interface, despeja sua árvore de elementos e aceita entrada roteirizada, o que dá a um agente de código um sinal diffável que um screenshot nunca oferece. O framework está em pré-lançamento e não aceita pull requests.