Interaktives Video hat endlich einen Benchmark – nur ohne Gesamtwert

StreamEval erschien am 15. Oktober und nennt sich den ersten Benchmark für interaktive Streaming-Videogenerierung. Die bewerteten Sitzungen laufen von 15 bis 300 Sekunden, und die gemessene Einheit ist eine Sitzung: wie sich ein System verhält, wenn ein Mensch während der Generierung weiter mit ihm spricht.
Diese Unterscheidung ist der Grund für den Benchmark, und man sollte sie klar aussprechen. Fast jeder Videomodell-Vergleich dieses Jahres bewertete eine fünf oder zehn Sekunden lange Ausgabe gegen einen Prompt. Streaming-Systeme tun etwas anderes: Sie nehmen neue Anweisungen mitten in der Generierung an, halten die Szene über diese Anweisungen hinweg kohärent und halten eine Identität über Minuten statt über Frames.
Fünf Aufgaben, weil fünf verschiedene Dinge Video heißen
Der Benchmark teilt sich in Aufgaben, die aus verschiedenen Gründen scheitern.
Digital-Human-Dialog bekommt ein Porträt und eine Persona plus die Sprach- oder Textbeiträge des Nutzers und bewertet Qualität, Audio-Video-Synchronität, Stabilität, Dialog und Identität.
Avatar-Performance bekommt ein Porträt und ein Skript, das mit Live-Regieanweisungen gespielt wird, und bewertet Qualität, Synchronität, Stabilität, Befolgung und Identität. Der Unterschied zur ersten Aufgabe: Der Nutzer inszeniert eine Performance, statt ein Gespräch zu führen.
Weltgenerierung nimmt einen Eröffnungsprompt oder ein Bild, dann Live-Prompts und Kamerasteuerung, und bewertet Qualität, Stabilität, Befolgung und Kontinuität, plus eine Referenzmetrik, wenn die Eingabe ein Bild war.
Instruktions-Editierung speist ein Live-Quellvideo und Text-Anweisungen ein und bewertet Qualität, Stabilität, Befolgung, Editiererfolg und Erhalt.
Referenz-Editierung speist ein Live-Quellvideo plus Referenzbilder zum Anwenden, Ausbessern, Entfernen oder Zurücksetzen und tauscht die Dialogmetrik gegen eine Referenzmetrik.
Metriken werden von 0 bis 100 bewertet. Der Gesamtwert einer Aufgabe ist das gleichgewichtete Mittel der zutreffenden Metriken. Und dann der Satz, der das ganze Design lesbar macht: Aufgaben werden niemals zu einem Gesamtwert zusammengeführt.

Warum die fehlende Spalte in der Rangliste der Punkt ist
Jeder Benchmark, der eine einzige Zahl produziert, wird irgendwann auf diese Zahl hin optimiert. Ein Videobenchmark mit einem Gesamtwert würde Teams dazu drängen, Stabilität gegen Qualität zu tauschen oder Kontinuität gegen Befolgung, in dem Verhältnis, das die Gewichte zufällig begünstigen. Niemand müsste den Tausch benennen. Er würde in den Scores erscheinen.
Indem StreamEval die Zusammenführung verweigert, zwingt es den Tausch ins Offene. Ein System, das Dialog beherrscht und nach vierzig Sekunden driftet, erscheint als Dialogscore und als Stabilitätsscore, und der Leser muss entscheiden, welchen er braucht.
Das ist eine methodische Entscheidung mit Kosten. Eine Fünf-Spalten-Tabelle lässt sich schlechter screenshotten als eine Rangliste und schlechter in einen Launch-Post gießen. Das Repository trägt diese Kosten bewusst, und das Paper (arXiv 2610.28402) ist der Ort, an dem die Begründung steht.
Vollständig offen, bis zu den Hashes
Die zweite Designentscheidung: alles wird ausgeliefert. Benchmark-Daten, Evaluierungscode, Protokolle, Bewertungsregeln, alles öffentlich. Die Datensätze liegen gespiegelt auf Hugging Face und ModelScope – was zählt, wenn man je versucht hat, einen Benchmark hinter einer Regionalsperre herunterzuladen.
Der vollständige Satz liegt in `benchmark/v1/full`. Jeder Condition-Ordner enthält drei Dateien: `cases.jsonl` mit den Eingabe-Zeitachsen, `oracles.jsonl` mit den erwarteten Ergebnissen, die nur für den Judge bestimmt sind, und `manifest.json` mit Medienpfaden und SHA-256-Hashes.
Diese drei Dateien beschreiben einen Benchmark, der sich wiederholen und prüfen lässt, statt ihm zu glauben. Die Oracle-Trennung bedeutet, dass der Judge den Lösungsschlüssel sieht und das Modell nicht. Die Hashes bedeuten, dass Medien zwischen Läufen nicht ausgetauscht werden können. Nichts davon ist neu, und beides fehlt regelmäßig in veröffentlichten Evaluationen.
Ein Richtermodell ist in der Schleife – eine Designentscheidung
Die meisten der zehn Metriken werden nicht gemessen, sondern beurteilt. Audio-Video-Synchronität lässt sich berechnen; „Qualität“ und „Befolgung“ nicht, also liest ein Modell die Ausgabe und bewertet sie.
Das ist inzwischen Standard, mit einem bekannten Fehler: Richtermodelle haben Präferenzen, und Systeme, die gegen denselben Judge abgestimmt werden, lernen diese Präferenzen statt der Qualität, für die sie stehen sollten. Die Trennung über `oracles.jsonl` ist die Gegenmaßnahme. Der Judge sieht das erwartete Ergebnis, also lautet seine Frage eher „passt das zur Absicht“ als „ist das gut“.
Der Preis ist, dass der Benchmark beurteilte Befolgung misst und nicht Publikumsreaktion. Für eine Forschungs-Harness ist das der richtige Tausch, weil Befolgung prüfbar ist und Publikumsreaktion nicht. Für ein Produktteam, das einen Anbieter auswählt, heißt es: Ein hoher Wert bei Befolgung belegt, dass das System tut, was man ihm sagte, und nichts darüber, ob das Gesagte es wert war.
Der Start kostet nichts
Der Quickstart ist bewusst so gebaut, dass der erste Lauf keinen API-Key, keine GPU und keinen Benchmark-Download braucht. Python 3.10 oder neuer unter Linux oder macOS:
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
Die letzte Zeile erzeugt ihre eigenen Medien. Danach:
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
--case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
Ein Mock-Modell auf synthetischen Medien ergibt eine Pipeline, die von Anfang bis Ende funktioniert – die richtige Art, eine Evaluierungs-Harness auszuliefern. Man findet heraus, dass der Judge falsch konfiguriert ist, bevor man etwas ausgegeben hat, und man findet es an reproduzierbaren Daten heraus.
Das monatliche Update ist eine Aussage über das Feld
Das README sagt, die Rangliste werde neue und aktualisierte Modelle monatlich bewerten.
Für einen Benchmark auf einer stabilen Aufgabe wäre diese Kadenz seltsam. Für interaktives Video ist sie die einzige ehrliche Option. Zwischen OpenRouters Video-Rangliste von letzter Woche und der Woche davor hat sich die Zusammensetzung geändert: Avatar IV kam in die Top Ten, mischief 1 verließ sie, und der Anteil von Alibaba an Video-Anfragen fiel um mehr als die Hälfte. Neue Systeme kommen schneller, als ein jährlicher Benchmark sie aufnehmen kann.
Der Preis monatlicher Updates ist Vergleichbarkeit. Ändert sich die Harness, bedeuten alte Scores weniger. Ändert sie sich nicht, werden neue Modellklassen gegen ein Protokoll gemessen, das älter ist als sie. Die Antwort des Repositories sind versionierte Benchmark-Ordner mit Hashes, sodass man dasselbe v1-Set weiter evaluieren und daneben neue Aufgaben ergänzen kann.
Wo die Zahlen noch wenig sagen
Zwischen dem, was StreamEval misst, und dem, was ein Produktionsteam braucht, liegt eine Lücke, und sie lohnt das Benennen.
Der Benchmark bewertet Identitätskonsistenz, Synchronität, Stabilität und Befolgung. Er bewertet nicht, ob die Ausgabe sehenswert ist. Ein System kann ein Gesicht fünf Minuten halten, jede Anweisung befolgen und etwas produzieren, das niemand veröffentlichen würde. Qualität steht in der Metrikenliste, aber als eine von fünf, und „Qualität“ in einem Videobenchmark bleibt die Meinung eines Richtermodells.
Die andere Lücke sind die Kosten. Eine Sitzung von 300 Sekunden ist ein anderes ökonomisches Objekt als ein 5-Sekunden-Clip, und der Benchmark schweigt zu Latenz und Preis pro Sekunde. Bei interaktiven Systemen ist das meist die Einschränkung, die entscheidet, ob ein Produkt ausgeliefert wird.
Keine der beiden Lücken ist ein Mangel der Arbeit. Ein erster Benchmark sollte messen, was keine Messung hatte, und interaktives Streaming-Video hatte keine. Die interessante Frage ist, wie die Rangliste nach drei monatlichen Updates aussieht, wenn dieselben fünf Aufgaben auf ein Feld angewendet wurden, das sich bereits zweimal bewegt hat.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.