← Voltar ao blog
Aicerca de 7 min de leitura

A geração de vídeo interativa enfim tem um exame. E ele se recusa a dar uma nota final.

Publicado 11 de nov. de 2026
A geração de vídeo interativa enfim tem um exame. E ele se recusa a dar uma nota final.

O StreamEval apareceu em 15 de outubro e se descreve como o primeiro benchmark para geração de vídeo interativa em streaming. As sessões que avalia vão de 15 a 300 segundos, e a unidade medida é a sessão: como um sistema se comporta quando uma pessoa continua falando com ele enquanto ele gera.

Essa distinção é a razão de o benchmark existir, e vale dizer com clareza. Quase toda comparação de modelos de vídeo que você leu neste ano pontuou uma saída de cinco ou dez segundos contra um prompt. Sistemas de streaming fazem outra coisa: aceitam novas instruções no meio da geração, mantêm a cena coerente através dessas instruções e sustentam uma identidade por minutos, não por quadros.

Cinco tarefas, porque cinco coisas diferentes são chamadas de vídeo

O benchmark se divide em tarefas que falham por motivos distintos.

Diálogo com humano digital recebe um retrato e uma persona, mais as falas ou o texto do usuário, e pontua qualidade, sincronia de áudio e vídeo, estabilidade, diálogo e identidade.

Performance de avatar recebe um retrato e um roteiro para atuar com direções ao vivo, e pontua qualidade, sincronia, estabilidade, aderência e identidade. A diferença para a primeira tarefa é que o usuário está dirigindo uma atuação, não conduzindo uma conversa.

Geração de mundo parte de um prompt ou imagem inicial, depois recebe prompts ao vivo e controle de câmera, e pontua qualidade, estabilidade, aderência e continuidade, mais uma métrica de referência quando a entrada foi uma imagem.

Edição por instrução recebe um vídeo-fonte ao vivo e instruções de edição em texto, pontuando qualidade, estabilidade, aderência, sucesso da edição e preservação.

Edição por referência recebe um vídeo-fonte ao vivo mais imagens de referência para aplicar, remendar, remover ou redefinir, e troca a métrica de diálogo por uma métrica de referência.

As métricas vão de 0 a 100. O número geral de uma tarefa é a média com pesos iguais das métricas que se aplicam a ela. E então vem a frase que torna o desenho inteiro legível: as tarefas nunca são fundidas num total.

Cinco cartões em branco com acabamento fosco enfileirados, cada um de uma altura, sobre uma prateleira escura.

Por que a coluna ausente do ranking é o ponto

Todo benchmark que produz um número único acaba sendo jogado a favor desse número. Um benchmark de vídeo com um total empurraria as equipes a trocar estabilidade por qualidade, ou continuidade por aderência, na proporção que os pesos por acaso favorecessem. Ninguém precisaria declarar a troca. Ela só apareceria nas notas.

Ao recusar a fusão, o StreamEval força a troca para o aberto. Um sistema que acerta o diálogo e deriva depois de quarenta segundos aparece como uma nota de diálogo e uma nota de estabilidade, e o leitor tem de decidir de qual precisa.

É uma escolha metodológica com custo. Uma tabela de cinco colunas é mais difícil de printar que uma lista ranqueada, e mais difícil de virar post de lançamento. O repositório assume esse custo de propósito, e o artigo (arXiv 2610.28402) é onde o raciocínio mora.

Totalmente aberto, até os hashes

A segunda decisão de desenho é que tudo é publicado. Dados do benchmark, código de avaliação, protocolos, regras de pontuação, tudo público. Os conjuntos são espelhados no Hugging Face e no ModelScope, o que importa se você já tentou baixar um benchmark atrás de um bloqueio regional.

O conjunto completo fica em `benchmark/v1/full`. Cada pasta de condição traz três arquivos: `cases.jsonl` com as linhas do tempo de entrada, `oracles.jsonl` com os resultados esperados, que são só para o juiz, e `manifest.json` com caminhos de mídia e hashes SHA-256.

Esses três arquivos descrevem um benchmark que pode ser reexecutado e auditado em vez de simplesmente confiado. A separação do oráculo significa que o juiz vê o gabarito e o modelo não. Os hashes significam que a mídia não pode ser trocada entre execuções. Nenhum dos dois é novidade, e os dois faltam rotineiramente em avaliações publicadas.

Um modelo juiz entra no laço, e isso é uma escolha de desenho

A maioria das dez métricas não é medida, é julgada. Sincronia de áudio e vídeo dá para calcular; “qualidade” e “aderência” não, então um modelo lê a saída e pontua.

Isso hoje é prática padrão e vem com uma falha conhecida: modelos juízes carregam preferências, e sistemas ajustados contra o mesmo juiz aprendem essas preferências em vez da qualidade que elas deveriam representar. A separação do `oracles.jsonl` é a mitigação. O juiz vê o resultado esperado, então a pergunta que ele responde fica mais perto de “isso corresponde à intenção” do que de “isso é bom”.

O custo é que o benchmark mede conformidade julgada, não resposta de audiência. Para um aparato de pesquisa é a troca certa, porque conformidade é verificável e resposta de audiência não é. Para um time de produto escolhendo fornecedor, significa que nota alta em aderência é evidência de que o sistema fez o que mandaram, e nada sobre se valia a pena mandar.

Rodar não custa nada para começar

O início rápido foi montado de propósito para que a primeira execução não precise de chave de API, de GPU nem de baixar o benchmark. Python 3.10 ou superior, em Linux ou macOS:

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

Essa última linha gera a própria mídia. Depois:

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

Um modelo mock sobre mídia sintética produz um pipeline que funciona de ponta a ponta, que é a forma correta de entregar um aparato de avaliação. Você descobre que o juiz está mal configurado antes de gastar qualquer coisa, e descobre com dados reproduzíveis.

A atualização mensal é uma declaração sobre o campo

O README diz que o ranking vai avaliar modelos novos e atualizados mensalmente.

Para um benchmark sobre uma tarefa estável, essa cadência seria estranha. Para um sobre vídeo interativo, é a única opção honesta. Entre o ranking de vídeo do OpenRouter da semana passada e o da semana anterior, a composição mudou: Avatar IV entrou no top ten, mischief 1 saiu, e a fatia da Alibaba nos pedidos de vídeo caiu mais da metade. Sistemas novos chegam mais rápido do que um benchmark anual consegue absorver.

O custo da atualização mensal é a comparabilidade. Se o aparato muda, notas antigas valem menos. Se não muda, classes novas de modelo são medidas contra um protocolo anterior a elas. A resposta do repositório são pastas de benchmark versionadas com hashes, o que permite continuar avaliando o mesmo conjunto v1 enquanto novas tarefas são adicionadas ao lado.

Onde os números ainda dizem pouco

Há uma distância entre o que o StreamEval mede e o que um time de produção precisa, e vale dar nome a ela.

O benchmark pontua consistência de identidade, sincronia, estabilidade e aderência. Não pontua se a saída vale a pena ser assistida. Um sistema pode sustentar um rosto por cinco minutos, obedecer a todas as instruções e produzir algo que ninguém publicaria. Qualidade está na lista de métricas, mas como uma entre cinco, e “qualidade” num benchmark de vídeo ainda é a opinião de um modelo juiz.

A outra distância é o custo. Uma sessão de 300 segundos é um objeto econômico diferente de um clipe de 5 segundos, e o benchmark não diz nada sobre latência e preço por segundo. Para sistemas interativos, essas costumam ser justamente as restrições que decidem se um produto é lançado.

Nenhuma das duas distâncias é falha do trabalho. Um primeiro benchmark deve medir aquilo que não tinha medida, e vídeo interativo em streaming não tinha nenhuma. A pergunta interessante é como o ranking estará depois de três atualizações mensais, quando as mesmas cinco tarefas tiverem sido aplicadas a um campo que já se moveu duas vezes.

Artigos relacionados