← Zurück zum Blog
Aica. 6 Min. Lesezeit

Interaktives Video hat endlich einen Benchmark – nur ohne Gesamtwert

Veröffentlicht 11. Nov. 2026
Interaktives Video hat endlich einen Benchmark – nur ohne Gesamtwert

StreamEval erschien am 15. Oktober und nennt sich den ersten Benchmark für interaktive Streaming-Videogenerierung. Die bewerteten Sitzungen laufen von 15 bis 300 Sekunden, und die gemessene Einheit ist eine Sitzung: wie sich ein System verhält, wenn ein Mensch während der Generierung weiter mit ihm spricht.

Diese Unterscheidung ist der Grund für den Benchmark, und man sollte sie klar aussprechen. Fast jeder Videomodell-Vergleich dieses Jahres bewertete eine fünf oder zehn Sekunden lange Ausgabe gegen einen Prompt. Streaming-Systeme tun etwas anderes: Sie nehmen neue Anweisungen mitten in der Generierung an, halten die Szene über diese Anweisungen hinweg kohärent und halten eine Identität über Minuten statt über Frames.

Fünf Aufgaben, weil fünf verschiedene Dinge Video heißen

Der Benchmark teilt sich in Aufgaben, die aus verschiedenen Gründen scheitern.

Digital-Human-Dialog bekommt ein Porträt und eine Persona plus die Sprach- oder Textbeiträge des Nutzers und bewertet Qualität, Audio-Video-Synchronität, Stabilität, Dialog und Identität.

Avatar-Performance bekommt ein Porträt und ein Skript, das mit Live-Regieanweisungen gespielt wird, und bewertet Qualität, Synchronität, Stabilität, Befolgung und Identität. Der Unterschied zur ersten Aufgabe: Der Nutzer inszeniert eine Performance, statt ein Gespräch zu führen.

Weltgenerierung nimmt einen Eröffnungsprompt oder ein Bild, dann Live-Prompts und Kamerasteuerung, und bewertet Qualität, Stabilität, Befolgung und Kontinuität, plus eine Referenzmetrik, wenn die Eingabe ein Bild war.

Instruktions-Editierung speist ein Live-Quellvideo und Text-Anweisungen ein und bewertet Qualität, Stabilität, Befolgung, Editiererfolg und Erhalt.

Referenz-Editierung speist ein Live-Quellvideo plus Referenzbilder zum Anwenden, Ausbessern, Entfernen oder Zurücksetzen und tauscht die Dialogmetrik gegen eine Referenzmetrik.

Metriken werden von 0 bis 100 bewertet. Der Gesamtwert einer Aufgabe ist das gleichgewichtete Mittel der zutreffenden Metriken. Und dann der Satz, der das ganze Design lesbar macht: Aufgaben werden niemals zu einem Gesamtwert zusammengeführt.

Fünf matte, unbedruckte Karten in einer Reihe, jede unterschiedlich hoch, auf einem dunklen Sims.

Warum die fehlende Spalte in der Rangliste der Punkt ist

Jeder Benchmark, der eine einzige Zahl produziert, wird irgendwann auf diese Zahl hin optimiert. Ein Videobenchmark mit einem Gesamtwert würde Teams dazu drängen, Stabilität gegen Qualität zu tauschen oder Kontinuität gegen Befolgung, in dem Verhältnis, das die Gewichte zufällig begünstigen. Niemand müsste den Tausch benennen. Er würde in den Scores erscheinen.

Indem StreamEval die Zusammenführung verweigert, zwingt es den Tausch ins Offene. Ein System, das Dialog beherrscht und nach vierzig Sekunden driftet, erscheint als Dialogscore und als Stabilitätsscore, und der Leser muss entscheiden, welchen er braucht.

Das ist eine methodische Entscheidung mit Kosten. Eine Fünf-Spalten-Tabelle lässt sich schlechter screenshotten als eine Rangliste und schlechter in einen Launch-Post gießen. Das Repository trägt diese Kosten bewusst, und das Paper (arXiv 2610.28402) ist der Ort, an dem die Begründung steht.

Vollständig offen, bis zu den Hashes

Die zweite Designentscheidung: alles wird ausgeliefert. Benchmark-Daten, Evaluierungscode, Protokolle, Bewertungsregeln, alles öffentlich. Die Datensätze liegen gespiegelt auf Hugging Face und ModelScope – was zählt, wenn man je versucht hat, einen Benchmark hinter einer Regionalsperre herunterzuladen.

Der vollständige Satz liegt in `benchmark/v1/full`. Jeder Condition-Ordner enthält drei Dateien: `cases.jsonl` mit den Eingabe-Zeitachsen, `oracles.jsonl` mit den erwarteten Ergebnissen, die nur für den Judge bestimmt sind, und `manifest.json` mit Medienpfaden und SHA-256-Hashes.

Diese drei Dateien beschreiben einen Benchmark, der sich wiederholen und prüfen lässt, statt ihm zu glauben. Die Oracle-Trennung bedeutet, dass der Judge den Lösungsschlüssel sieht und das Modell nicht. Die Hashes bedeuten, dass Medien zwischen Läufen nicht ausgetauscht werden können. Nichts davon ist neu, und beides fehlt regelmäßig in veröffentlichten Evaluationen.

Ein Richtermodell ist in der Schleife – eine Designentscheidung

Die meisten der zehn Metriken werden nicht gemessen, sondern beurteilt. Audio-Video-Synchronität lässt sich berechnen; „Qualität“ und „Befolgung“ nicht, also liest ein Modell die Ausgabe und bewertet sie.

Das ist inzwischen Standard, mit einem bekannten Fehler: Richtermodelle haben Präferenzen, und Systeme, die gegen denselben Judge abgestimmt werden, lernen diese Präferenzen statt der Qualität, für die sie stehen sollten. Die Trennung über `oracles.jsonl` ist die Gegenmaßnahme. Der Judge sieht das erwartete Ergebnis, also lautet seine Frage eher „passt das zur Absicht“ als „ist das gut“.

Der Preis ist, dass der Benchmark beurteilte Befolgung misst und nicht Publikumsreaktion. Für eine Forschungs-Harness ist das der richtige Tausch, weil Befolgung prüfbar ist und Publikumsreaktion nicht. Für ein Produktteam, das einen Anbieter auswählt, heißt es: Ein hoher Wert bei Befolgung belegt, dass das System tut, was man ihm sagte, und nichts darüber, ob das Gesagte es wert war.

Der Start kostet nichts

Der Quickstart ist bewusst so gebaut, dass der erste Lauf keinen API-Key, keine GPU und keinen Benchmark-Download braucht. Python 3.10 oder neuer unter Linux oder macOS:

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

Die letzte Zeile erzeugt ihre eigenen Medien. Danach:

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

Ein Mock-Modell auf synthetischen Medien ergibt eine Pipeline, die von Anfang bis Ende funktioniert – die richtige Art, eine Evaluierungs-Harness auszuliefern. Man findet heraus, dass der Judge falsch konfiguriert ist, bevor man etwas ausgegeben hat, und man findet es an reproduzierbaren Daten heraus.

Das monatliche Update ist eine Aussage über das Feld

Das README sagt, die Rangliste werde neue und aktualisierte Modelle monatlich bewerten.

Für einen Benchmark auf einer stabilen Aufgabe wäre diese Kadenz seltsam. Für interaktives Video ist sie die einzige ehrliche Option. Zwischen OpenRouters Video-Rangliste von letzter Woche und der Woche davor hat sich die Zusammensetzung geändert: Avatar IV kam in die Top Ten, mischief 1 verließ sie, und der Anteil von Alibaba an Video-Anfragen fiel um mehr als die Hälfte. Neue Systeme kommen schneller, als ein jährlicher Benchmark sie aufnehmen kann.

Der Preis monatlicher Updates ist Vergleichbarkeit. Ändert sich die Harness, bedeuten alte Scores weniger. Ändert sie sich nicht, werden neue Modellklassen gegen ein Protokoll gemessen, das älter ist als sie. Die Antwort des Repositories sind versionierte Benchmark-Ordner mit Hashes, sodass man dasselbe v1-Set weiter evaluieren und daneben neue Aufgaben ergänzen kann.

Wo die Zahlen noch wenig sagen

Zwischen dem, was StreamEval misst, und dem, was ein Produktionsteam braucht, liegt eine Lücke, und sie lohnt das Benennen.

Der Benchmark bewertet Identitätskonsistenz, Synchronität, Stabilität und Befolgung. Er bewertet nicht, ob die Ausgabe sehenswert ist. Ein System kann ein Gesicht fünf Minuten halten, jede Anweisung befolgen und etwas produzieren, das niemand veröffentlichen würde. Qualität steht in der Metrikenliste, aber als eine von fünf, und „Qualität“ in einem Videobenchmark bleibt die Meinung eines Richtermodells.

Die andere Lücke sind die Kosten. Eine Sitzung von 300 Sekunden ist ein anderes ökonomisches Objekt als ein 5-Sekunden-Clip, und der Benchmark schweigt zu Latenz und Preis pro Sekunde. Bei interaktiven Systemen ist das meist die Einschränkung, die entscheidet, ob ein Produkt ausgeliefert wird.

Keine der beiden Lücken ist ein Mangel der Arbeit. Ein erster Benchmark sollte messen, was keine Messung hatte, und interaktives Streaming-Video hatte keine. Die interessante Frage ist, wie die Rangliste nach drei monatlichen Updates aussieht, wenn dieselben fünf Aufgaben auf ein Feld angewendet wurden, das sich bereits zweimal bewegt hat.

Verwandte Artikel