La generación de video interactiva por fin tiene examen. Y se niega a dar una nota final.

StreamEval apareció el 15 de octubre y se describe como el primer benchmark de generación de video interactiva en streaming. Las sesiones que evalúa van de 15 a 300 segundos, y la unidad que mide es la sesión: cómo se comporta un sistema cuando una persona le sigue hablando mientras genera.
Esa distinción es la razón de que el benchmark exista, y conviene decirla sin rodeos. Casi todas las comparaciones de modelos de video que has leído este año puntuaron una salida de cinco o diez segundos contra un prompt. Los sistemas de streaming hacen otra cosa: aceptan instrucciones nuevas a mitad de la generación, mantienen la escena coherente a través de esas instrucciones y sostienen una identidad durante minutos, no durante fotogramas.
Cinco tareas, porque cinco cosas distintas se llaman video
El benchmark se divide en tareas que fallan por motivos diferentes.
El diálogo con humano digital recibe un retrato y una persona, más los turnos de voz o texto del usuario, y puntúa calidad, sincronía de audio y video, estabilidad, diálogo e identidad.
La interpretación de avatar recibe un retrato y un guion para actuar con indicaciones en vivo, y puntúa calidad, sincronía, estabilidad, seguimiento e identidad. La diferencia con la primera tarea es que el usuario dirige una actuación en vez de mantener una conversación.
La generación de mundo parte de un prompt o una imagen inicial, luego recibe prompts en vivo y control de cámara, y puntúa calidad, estabilidad, seguimiento y continuidad, más una métrica de referencia cuando la entrada fue una imagen.
La edición por instrucción recibe un video fuente en vivo e instrucciones de edición en texto, y puntúa calidad, estabilidad, seguimiento, éxito de la edición y preservación.
La edición por referencia recibe un video fuente en vivo más imágenes de referencia para aplicar, parchear, quitar o restablecer, y cambia la métrica de diálogo por una métrica de referencia.
Las métricas van de 0 a 100. El número global de una tarea es la media con pesos iguales de las métricas que le aplican. Y entonces llega la frase que vuelve legible todo el diseño: las tareas nunca se fusionan en un total.

Por qué la columna que falta en el ranking es el punto
Todo benchmark que produce un número único acaba siendo jugado a favor de ese número. Un benchmark de video con un total empujaría a los equipos a cambiar estabilidad por calidad, o continuidad por adherencia, en la proporción que los pesos favorecieran por casualidad. Nadie tendría que declarar el intercambio. Solo aparecería en las notas.
Al negarse a fusionar, StreamEval fuerza el intercambio a la superficie. Un sistema que clava el diálogo y se desvía a los cuarenta segundos aparece como una nota de diálogo y una nota de estabilidad, y el lector tiene que decidir cuál necesita.
Es una decisión metodológica con un costo. Una tabla de cinco columnas es más difícil de capturar que una lista ordenada, y más difícil de convertir en post de lanzamiento. El repositorio asume ese costo a propósito, y el paper (arXiv 2610.28402) es donde vive el razonamiento.
Todo abierto, hasta los hashes
La segunda decisión de diseño es que todo se publica. Datos del benchmark, código de evaluación, protocolos, reglas de puntuación, todo público. Los conjuntos están replicados en Hugging Face y ModelScope, lo que importa si alguna vez intentaste descargar un benchmark detrás de un bloqueo regional.
El conjunto completo vive en `benchmark/v1/full`. Cada carpeta de condición trae tres archivos: `cases.jsonl` con las líneas de tiempo de entrada, `oracles.jsonl` con los resultados esperados, que son solo para el juez, y `manifest.json` con rutas de medios y hashes SHA-256.
Esos tres archivos describen un benchmark que se puede volver a ejecutar y auditar en vez de simplemente creer. La separación del oráculo significa que el juez ve la hoja de respuestas y el modelo no. Los hashes significan que los medios no se pueden cambiar entre ejecuciones. Ninguna de las dos cosas es nueva, y las dos faltan de forma habitual en las evaluaciones publicadas.
Un modelo juez está en el bucle, y eso es una decisión de diseño
La mayoría de las diez métricas no se miden, se juzgan. La sincronía de audio y video se puede calcular; “calidad” y “seguimiento” no, así que un modelo lee la salida y la puntúa.
Eso hoy es práctica estándar y viene con un fallo conocido: los modelos jueces cargan preferencias, y los sistemas ajustados contra el mismo juez aprenden esas preferencias en lugar de la calidad que debían representar. La separación de `oracles.jsonl` es la mitigación. El juez ve el resultado esperado, así que la pregunta que responde se acerca más a “esto cumple la intención” que a “esto es bueno”.
El costo es que el benchmark mide cumplimiento juzgado, no respuesta del público. Para un instrumento de investigación es el intercambio correcto, porque el cumplimiento es verificable y la respuesta del público no. Para un equipo de producto eligiendo proveedor, significa que una nota alta en seguimiento es evidencia de que el sistema hizo lo que le dijeron, y nada sobre si valía la pena decirlo.
Ejecutarlo no cuesta nada al principio
El inicio rápido está montado a propósito para que la primera ejecución no necesite clave de API, ni GPU, ni descarga del benchmark. Python 3.10 o superior, en Linux o macOS:
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
Esa última línea genera sus propios medios. Después:
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
--case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
Un modelo mock sobre medios sintéticos produce un pipeline que funciona de punta a punta, que es la forma correcta de entregar un instrumento de evaluación. Descubres que el juez está mal configurado antes de gastar nada, y lo descubres con datos reproducibles.
La actualización mensual es una afirmación sobre el campo
El README dice que el ranking evaluará modelos nuevos y actualizados cada mes.
Para un benchmark sobre una tarea estable, esa cadencia sería rara. Para uno sobre video interactivo, es la única opción honesta. Entre el ranking de video de OpenRouter de la semana pasada y el de la anterior, la composición cambió: Avatar IV entró en el top ten, mischief 1 salió, y la cuota de Alibaba en las peticiones de video cayó más de la mitad. Los sistemas nuevos llegan más rápido de lo que un benchmark anual puede absorber.
El costo de actualizar cada mes es la comparabilidad. Si el instrumento cambia, las notas viejas valen menos. Si no cambia, clases nuevas de modelo se miden contra un protocolo anterior a ellas. La respuesta del repositorio son carpetas de benchmark versionadas con hashes, lo que permite seguir evaluando el mismo conjunto v1 mientras se añaden tareas nuevas al lado.
Donde los números todavía dicen poco
Hay una distancia entre lo que mide StreamEval y lo que necesita un equipo de producción, y conviene ponerle nombre.
El benchmark puntúa consistencia de identidad, sincronía, estabilidad y seguimiento. No puntúa si la salida merece ser vista. Un sistema puede sostener una cara cinco minutos, obedecer todas las instrucciones y producir algo que nadie publicaría. La calidad está en la lista de métricas, pero como una de cinco, y “calidad” en un benchmark de video sigue siendo la opinión de un modelo juez.
La otra distancia es el costo. Una sesión de 300 segundos es un objeto económico distinto de un clip de 5 segundos, y el benchmark calla sobre latencia y precio por segundo. Para sistemas interactivos, esas suelen ser justamente las restricciones que deciden si un producto sale.
Ninguna de las dos distancias es un defecto del trabajo. Un primer benchmark debe medir lo que no tenía medición, y el video interactivo en streaming no tenía ninguna. La pregunta interesante es cómo se verá el ranking tras tres actualizaciones mensuales, cuando las mismas cinco tareas se hayan aplicado a un campo que ya se movió dos veces.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas
NVIDIA dice que no está medido si estos modelos sirven para aprender políticas. La frase debería acompañar cualquier historia sobre modelos del mundo abiertos.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.