← Retour au blog
AiEnviron 8 min de lecture

La vidéo interactive a enfin son benchmark : cinq tâches, aucun score total

Publié le 11 nov. 2026
La vidéo interactive a enfin son benchmark : cinq tâches, aucun score total

StreamEval est apparu le 15 octobre et se présente comme le premier benchmark de génération vidéo interactive en flux. Les sessions évaluées vont de 15 à 300 secondes, et l'unité mesurée est une session : comment un système se comporte quand une personne continue de lui parler pendant qu'il génère.

Cette distinction est la raison d'être du benchmark, et elle mérite d'être dite simplement. Presque toutes les comparaisons de modèles vidéo lues cette année notaient une sortie de cinq ou dix secondes contre un prompt. Les systèmes en flux font autre chose : ils acceptent de nouvelles instructions en cours de génération, gardent la scène cohérente à travers elles, et tiennent une identité sur des minutes plutôt que sur des images.

Cinq tâches, parce que cinq choses différentes s'appellent vidéo

Le benchmark se divise en tâches qui échouent pour des raisons différentes.

Le dialogue avec un humain numérique reçoit un portrait et une persona, plus les tours de parole ou de texte de l'utilisateur, et note la qualité, la synchro audio-vidéo, la stabilité, le dialogue et l'identité.

La performance d'avatar reçoit un portrait et un script à jouer avec des indications en direct, et note qualité, synchro, stabilité, suivi et identité. La différence avec la première tâche : l'utilisateur dirige une performance au lieu de tenir une conversation.

La génération de monde part d'un prompt ou d'une image d'ouverture, puis de prompts et de contrôles de caméra en direct, et note qualité, stabilité, suivi et continuité, plus une métrique de référence quand l'entrée était une image.

L'édition par instruction alimente une vidéo source en direct et des instructions d'édition textuelles, et note qualité, stabilité, suivi, réussite de l'édition et préservation.

L'édition par référence alimente une vidéo source en direct plus des images de référence à appliquer, corriger, retirer ou réinitialiser, et remplace la métrique de dialogue par une métrique de référence.

Les métriques sont notées de 0 à 100. Le chiffre global d'une tâche est la moyenne à poids égal des métriques qui s'y appliquent. Puis la phrase qui rend toute la conception lisible : les tâches ne sont jamais fusionnées en un total.

Cinq cartes mates et vierges alignées, de hauteurs différentes, sur un rebord sombre.

Pourquoi la colonne manquante du classement est le sujet

Tout benchmark qui produit un nombre finit par être optimisé vers ce nombre. Un benchmark vidéo à total unique pousserait les équipes à échanger de la stabilité contre de la qualité, ou de la continuité contre l'adhérence, dans la proportion que les poids favorisent. Personne n'aurait à énoncer l'arbitrage : il apparaîtrait dans les scores.

En refusant la fusion, StreamEval force l'arbitrage au grand jour. Un système qui excelle en dialogue et dérive au bout de quarante secondes apparaît comme un score de dialogue et un score de stabilité, et le lecteur doit décider duquel il a besoin.

C'est un choix méthodologique qui a un coût. Un tableau à cinq colonnes se capture moins bien qu'une liste classée, et s'écrit moins bien en billet de lancement. Le dépôt assume ce coût délibérément, et l'article (arXiv 2610.28402) est l'endroit où vit le raisonnement.

Entièrement ouvert, jusqu'aux empreintes

La seconde décision de conception, c'est que tout est publié. Données du benchmark, code d'évaluation, protocoles, règles de notation : tout est public. Les jeux de données sont répliqués sur Hugging Face et ModelScope, ce qui compte si vous avez déjà essayé de télécharger un benchmark derrière un blocage régional.

L'ensemble complet vit dans `benchmark/v1/full`. Chaque dossier de condition contient trois fichiers : `cases.jsonl` avec les chronologies d'entrée, `oracles.jsonl` avec les résultats attendus, réservés au juge, et `manifest.json` portant les chemins des médias et les empreintes SHA-256.

Ces trois fichiers décrivent un benchmark qu'on peut relancer et auditer plutôt que croire. La séparation des oracles signifie que le juge voit le corrigé et le modèle non. Les empreintes signifient que les médias ne peuvent pas être échangés entre deux exécutions. Rien de tout cela n'est nouveau, et les deux manquent régulièrement aux évaluations publiées.

Un modèle juge est dans la boucle, et c'est un choix de conception

La plupart des dix métriques ne sont pas mesurées, elles sont jugées. La synchro audio-vidéo se calcule ; « qualité » et « suivi » non, donc un modèle lit la sortie et la note.

C'est désormais la pratique standard, avec un défaut connu : les modèles juges ont des préférences, et les systèmes réglés contre le même juge apprennent ces préférences plutôt que la qualité qu'elles devaient approcher. La séparation par `oracles.jsonl` est la parade. Le juge voit le résultat attendu, donc sa question ressemble davantage à « cela correspond-il à l'intention » qu'à « est-ce bon ».

Le coût, c'est que le benchmark mesure une conformité jugée et non la réponse du public. Pour un harnais de recherche, c'est le bon arbitrage, parce que la conformité se vérifie et la réponse du public non. Pour une équipe produit qui choisit un fournisseur, cela signifie qu'un bon score de suivi prouve que le système fait ce qu'on lui a dit, et rien sur le fait que ce qu'on lui a dit valait la peine.

Le lancer ne coûte rien au départ

Le quick start est conçu pour que la première exécution n'exige ni clé API, ni GPU, ni téléchargement du benchmark. Python 3.10 ou plus, sous Linux ou macOS :

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

Cette dernière ligne génère ses propres médias. Ensuite :

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

Un modèle factice sur des médias synthétiques produit un pipeline qui fonctionne de bout en bout, ce qui est la bonne façon de livrer un harnais d'évaluation. Vous découvrez que votre juge est mal configuré avant d'avoir dépensé quoi que ce soit, et vous le découvrez sur des données reproductibles.

La mise à jour mensuelle est un constat sur le domaine

Le README indique que le classement évaluera chaque mois les modèles nouveaux et mis à jour.

Pour un benchmark sur une tâche stable, cette cadence serait étrange. Pour la vidéo interactive, c'est la seule option honnête. Entre le classement vidéo d'OpenRouter de la semaine dernière et celui de la semaine précédente, la composition a changé : Avatar IV est entré dans le top dix, mischief 1 en est sorti, et la part d'Alibaba dans les requêtes vidéo a chuté de plus de moitié. Les nouveaux systèmes arrivent plus vite qu'un benchmark annuel ne peut les absorber.

Le coût des mises à jour mensuelles, c'est la comparabilité. Si le harnais change, les anciens scores veulent dire moins. S'il ne change pas, de nouvelles classes de modèles sont mesurées contre un protocole antérieur à elles. La réponse du dépôt : des dossiers de benchmark versionnés et pourvus d'empreintes, ce qui permet de continuer à évaluer le même ensemble v1 tout en ajoutant de nouvelles tâches à côté.

Là où les chiffres ne disent toujours pas grand-chose

Il y a un écart entre ce que StreamEval mesure et ce dont une équipe de production a besoin, et il vaut la peine de le nommer.

Le benchmark note la cohérence d'identité, la synchro, la stabilité et le suivi. Il ne note pas si la sortie vaut la peine d'être regardée. Un système peut tenir un visage cinq minutes, obéir à chaque instruction et produire quelque chose que personne ne publierait. La qualité figure dans la liste des métriques, mais comme une sur cinq, et « qualité » dans un benchmark vidéo reste l'avis d'un modèle juge.

L'autre écart, c'est le coût. Une session de 300 secondes est un objet économique différent d'un clip de 5 secondes, et le benchmark est muet sur la latence et le prix à la seconde. Pour les systèmes interactifs, c'est généralement la contrainte qui décide si un produit sort.

Aucun des deux écarts n'est un défaut du travail. Un premier benchmark doit mesurer ce qui n'avait pas de mesure, et la vidéo interactive en flux n'en avait aucune. La question intéressante est de savoir à quoi ressemblera le classement après trois mises à jour mensuelles, quand les mêmes cinq tâches auront été appliquées à un domaine qui a déjà bougé deux fois.

Articles associés