Kling VIDEO O1 transforma a geração de vídeo em um sistema de referências

--- title: Kling VIDEO O1 transforma a geração de vídeo em um sistema de referências slug: kling-video-o1-turns-video-generation-into-a-reference-system meta_title: Kling VIDEO O1 faz das referências a interface meta_description: O Kling VIDEO O1, da Kuaishou, aceita texto, imagens, vídeo, keyframes e referências em qualquer combinação e depois permite extrair elementos de um clipe para outro. category: ia tags: Kling VIDEO O1,Kuaishou,geração de vídeo,sistema de referência,keyframes,multimodal,Veo 3.1,Runway Aleph,consistência ---

O braço de vídeo da Kuaishou passou o último mês lançando novidades. O Kling 4.0 abriu para testadores e depois ganhou uma janela de lançamento mais ampla. Agora, o VIDEO O1 chega como algo mais próximo de uma mudança de categoria: um modelo que aceita texto, imagens, clipes de vídeo, keyframes e referências de personagem como entrada, e trata todos eles como peças intercambiáveis de uma única solicitação.

O rótulo que a empresa usa é "multimodal unificado". A versão prática é mais fácil de explicar. Você pode anexar três clipes e escrever: pegue o personagem do vídeo um, o movimento de câmera do vídeo dois, coloque ambos no vídeo três e mude o estilo para pixel art.

Esse único pedido teria exigido três ferramentas separadas e uma exportação cuidadosa de arquivos intermediários um ano atrás, com cada etapa adicionando uma passagem de compressão e uma chance de o personagem se desviar.

O que a referência tudo-em-um realmente oferece

A consistência de personagens e objetos tem sido o problema persistente no vídeo com IA. As soluções alternativas anteriores encadeavam modelos, o que significava pagar por cada etapa e aceitar qualquer desvio que se acumulasse entre elas. A abordagem da Kling dobra essa cadeia em uma única geração, de modo que as imagens de referência, os keyframes e a direção de estilo são resolvidos de uma só vez.

Os próprios números da Kling colocam o O1 com uma taxa de vitória de 247 por cento contra o recurso "Ingredients to Video" do Veo 3.1, do Google, em tarefas de referência de imagem, e de 230 por cento contra o Runway Aleph em tarefas de transformação. Essas são avaliações internas, então trate-as como indicativas. A alegação de capacidade é mais testável: cenas de grupo, em que vários sujeitos precisam permanecer individualmente fixados, são tratadas por sujeito em vez de como uma média combinada.

A duração do vídeo varia de três a dez segundos, ajustável, o que permite definir o ritmo de uma cena em vez de aceitar o que o modelo decidir. Nos bastidores, a empresa descreve um transformer multimodal com um longo contexto multimodal, além de um novo formato interno que chama de linguagem visual multimodal, que combina sinais de texto, visuais e de áudio dentro do próprio transformer. O raciocínio em cadeia de pensamento integrado tem o objetivo de manter o movimento gerado fisicamente plausível.

Os tipos de geração listados parecem uma lista de verificação de tudo o que a categoria vinha dividindo em ferramentas separadas: texto para vídeo, imagem para vídeo, vídeo para vídeo, keyframe para vídeo, várias imagens para vídeo e referência para vídeo para vídeo. Cada um deles costumava ser um produto. A alegação do O1 é que eles são modos de um único sistema.

Por que a interface importa mais que o benchmark

A parte interessante é que o O1 chega a vencer uma comparação, enquanto a superfície de entrada do modelo é a mudança que mais importa. Ela agora é uma biblioteca de ativos reutilizáveis. Um personagem construído a partir de vários ângulos se torna um elemento que você anexa pelo nome em vez de redescrever em cada prompt. O movimento de câmera se torna algo que você empresta de um clipe em vez de aproximar com adjetivos.

Isso muda o formato do fluxo de trabalho. A cadeia linear de modelo de imagem, depois modelo de vídeo, depois editor, com um custo em cada etapa, se reduz a menos etapas. Isso também muda para quem a ferramenta se destina: equipes de pós-produção recebem instruções em linguagem natural no lugar de etapas de rastreamento e mascaramento, e equipes de publicidade ganham uma forma de substituir uma filmagem sem reconstruir cada tomada do zero.

O vocabulário é a outra metade da interface. Anexar um elemento pelo nome significa que uma equipe pode concordar sobre como um personagem é chamado antes de escrever um único prompt de cena, e depois reutilizar esse nome em uma campanha. Aproximar a mesma coisa com adjetivos funciona uma vez e fica mais difícil a cada revisão, porque não há registro de qual combinação de adjetivos produziu a versão de que todos gostaram.

A documentação do fornecedor descreve os casos de uso profissionais em termos semelhantes. A produção cinematográfica com IA depende da biblioteca de elementos para manter personagens e objetos consistentes ao longo de uma filmagem. Publicidade e moda a usam como substituto para trabalho em locação, incluindo passarelas virtuais. A pós-produção a usa para fazer mudanças que antes exigiam rotoscopia quadro a quadro.

Há um efeito de autosseleção aqui. Um modelo com tantos tipos de entrada não é mais amigável para iniciantes; é mais amigável para pessoas que já sabem o que querem. Essa é uma mudança significativa para uma categoria que passou dois anos otimizando a experiência de primeiro uso.

O que o sistema de referências substitui

A maneira mais clara de entender a mudança é olhar para o que uma equipe costumava construir em torno de um modelo fraco. Os pipelines de consistência eram linhas de montagem: gerar uma folha de personagem, alimentá-la em cada tomada como prompt de imagem, gerar um animatic e então regerar cada tomada com um quadro inicial retirado do animatic. Cada etapa existia porque a anterior não conseguia carregar contexto suficiente para frente.

O sistema de referências do O1 ataca a razão pela qual essas etapas existiam. Se o modelo consegue manter a identidade de um personagem em uma cena de grupo enquanto também recebe movimento de câmera de um clipe separado, então algumas dessas etapas se tornam opcionais em vez de obrigatórias. Etapas opcionais são onde os orçamentos realmente se movem, porque um pipeline construído em torno de uma limitação não desaparece só porque a limitação diminuiu.

A mesma lógica se aplica à sequência de tomadas. Programas que geram a tomada anterior ou seguinte com base em filmagens existentes transformam uma biblioteca de clipes em algo mais próximo de uma cena. Editores que já trabalham em timelines reconhecerão o valor: o custo de testar um ângulo alternativo cai de uma nova filmagem para uma geração.

O trade-off é real

A Kling diz que o O1 tem uma curva de aprendizado mais íngreme do que o Sora 2 ou o Veo 3.1, porque há mais capacidades para entender antes que qualquer uma delas seja útil. Esse é o custo padrão de uma interface mais expressiva. Um modelo que aceita qualquer coisa como referência pede que você decida o que deve ser referenciado.

A empresa não resolveu o som no O1. O Kling 2.6 é o modelo que carrega a geração de áudio para a plataforma, completo com diálogo sincronizado, música e efeitos sonoros. Portanto, uma produção completa ainda significa combinar dois modelos, um para a linguagem visual e outro para a trilha sonora. O próprio marketing da Kling para o 2.6 se apoia na ideia de ver o som e ouvir o visual, o que é uma descrição justa de uma capacidade que vive fora do O1.

O preço também reflete onde a plataforma quer se posicionar. Os créditos por segundo publicados pela Kling sobem de seis créditos em 720p sem áudio para doze em 1080p com áudio, e a plataforma divulga uma política de uso comercial que se estende a gerações gratuitas. Para um modelo posicionado em fluxos de trabalho profissionais, o ponto de entrada permanece baixo o suficiente para que uma equipe pequena possa testá-lo antes de se comprometer.

O que observar

Se o sistema de referências do O1 se sustenta fora de demos controladas. As alegações de consistência tendem a sobreviver a clipes curtos e sessões curtas, e depois se degradam quando um projeto dura semanas e acumula dezenas de elementos. O conceito de biblioteca de elementos só compensa se os elementos permanecerem estáveis ao longo desse período.

A Kuaishou já disse que o 4.0 traz geração nativa de 30 segundos e até 10 keyframes. Se a camada de referência do O1 se compõe com esses limites em vez de competir com eles, o par cobre tanto a questão de "quanto tempo" quanto a de "qual rosto". Essa combinação é o que os estúdios vêm esperando.

O cenário competitivo de curto prazo também importa. O Gemini Omni 1.1 Flash ocupa o primeiro lugar em texto para vídeo na Arena com 1516, com o MiniMax H3 liderando em imagem para vídeo, e o Wan 3.0 no topo do ranking de vídeo da Artificial Analysis. O O1 não está entrando em um campo vazio. Seu diferencial é a superfície de entrada, e não uma posição em ranking, algo mais difícil de deslocar depois que as equipes constroem bibliotecas de elementos em torno dele.