Zweihundert echte Edits, 0.27 Punkte Abstand: Was Bild-Benchmarks wirklich messen

Drei Zahlen, drei verschiedene Aussagen

Wenn ein neues Bildmodell erscheint, bekommt man eine Pressemitteilung mit einem Diagramm. Im Diagramm steht das neue Modell meist oben, sortiert nach einer Kennzahl, die der Anbieter ausgewählt hat, gemessen auf einem Datensatz, den der Anbieter gebaut hat. Das weiß die Branche, und trotzdem wird das Diagramm zitiert, weil es am ersten Tag nichts anderes zu zitieren gibt.

Das klarste Beispiel in diesem Monat ist FLUX 3 Image Klein, Black Forest Labs' Open-Weights-Release mit 5.6B vom 15. Oktober. Binnen einer Woche waren drei verschiedene Zahlenreihen im Umlauf, und ihr Widerspruch war lehrreich.

Die Elo-Zahlen des Anbieters: Platz eins bei Text-to-Image, Multi-Reference-Generierung und Bildbearbeitung unter den Open-Weights-Modellen, vor größeren Wettbewerbern. Gegen das eigene FLUX.2 klein 9B gewinnt es 91 Elo bei Text-to-Image und 70 bei der Bearbeitung, bei 38% weniger Parametern.

Die Latenzzahlen des Anbieters: eine mediane API-Latenz von 4.54 Sekunden für Text-to-Image und 7.18 Sekunden für Bearbeitung bei einem Megapixel, schneller als die vier genannten Wettbewerber. Die Methodik-Notiz ergänzt, dass das neue Modell auf BFLs eigenen Servern gemessen wurde, die anderen dagegen vom Client aus, inklusive Polling und Netzwerkzeit, und dass ein Wettbewerber auf seiner Medium-Stufe statt der Large-Stufe gemessen wurde.

Der Blindtest von dritter Seite: 200 echte Bearbeitungsaufgaben, 6.93 für Klein und 7.20 für Nano Banana 2.1, also 0.27 Punkte Abstand auf einer Zehnerskala, wobei derselbe Test feststellte, dass Klein bei Posenanpassung und Multi-Image-Compositing schwächelt. Kosten pro Bild: etwa ein Fünftel des Wettbewerbers.

Keine dieser Zahlen ist unehrlich. Sie beantworten unterschiedliche Fragen, und die Verwirrung entsteht, weil man sie als dieselbe Frage behandelt.

Was Elo sagen kann und was nicht

Elo ist ein Präferenzwert. Er sagt: Wenn menschliche Bewerter zwei Ergebnisse sahen und gefragt wurden, welches besser ist, wurde eines häufiger gewählt. Das ist eine echte Messung, und es ist die richtige Messung für "sieht das besser aus".

Es ist aber auch eine Messung mit einem bestimmten blinden Fleck: Sie bügelt den Aufgabenkontext weg. Ein Modell kann einen Elo-Vergleich im Schnitt gewinnen und bei der einen Sache, für die man es braucht, deutlich verlieren. Wenn Ihre Arbeit Produktfotos auf Weiß, Posenwechsel oder das Compositing von drei Referenzen zu einer stimmigen Szene sind, dann ist dieser Durchschnitt nicht Ihr Durchschnitt.

Der nützlichste Befund des Blindtests ist nicht der Score. Es ist das Fehlerbild. Zweihundert echte Bearbeitungsaufgaben, und die wiederkehrenden Fehler lagen bei Pose und Multi-Reference-Compositing, genau den Aufgaben, bei denen die Layout-Mechanik helfen soll. Das ist ein viel umsetzbarerer Satz als "0.27 Punkte dahinter", weil er sagt, welche Aufträge man woanders hin routet.

Es gibt außerdem eine Frage der Größenordnung, die man ruhig deutlich sagen sollte. Auf einer menschlichen Zehnerskala ist 6.93 gegen 7.20 ein kleiner Unterschied. Er liegt gut innerhalb des Bereichs, in dem die konkreten Bilder im Testset und der Geschmack der Bewerter das Ranking kippen können. Ein Abstand dieser Größe ist ein Hinweis, kein Urteil.

Die Kostenspalte ist die, die alle überspringen

Hier ist die Zahl, die in die Überschrift gehört hätte: ein Fünftel der Kosten pro Bild.

Wenn Modell A 4% besser und 5-mal teurer ist, lautet die richtige Antwort für die meisten Workflows nicht "nimm Modell A". Sie lautet "nimm B für die achtzig Prozent einfachen Frames und A für die zwanzig Prozent schwierigen". Das ist kein Kompromiss. So hat Produktion schon immer funktioniert, niemand dreht jedes Bild auf dem teuersten Material.

Kosten ändern auch das Verhalten. Ein Modell, das ein Fünftel kostet, ist ein Modell, das man sich zum Experimentieren leisten kann: fünf Varianten statt einer, ein zweiter Versuch bei einer Hand, die danebenging, ein zusätzlicher Durchlauf beim Hintergrund. Die Iterationszahl ist ein Qualitätshebel, der in keinem Benchmark auftaucht, und der Hauptgrund, warum billige Modelle in der Praxis häufiger gewinnen, als ihre Scores vermuten lassen.

Dasselbe Muster zeigt sich in den API-Marktdaten. Im Oktober-Gateway-Index von Vercel hat ein einziges günstiges Open-Weights-Modell fast die Hälfte der September-Tokens verarbeitet, bei weniger als 3% der Ausgaben. Volumen folgt dem Preis, und Qualitätsunterschiede von ein paar Prozent überleben den Kontakt mit einem Budget selten.

Wo die Anbieterzahlen noch zählen

Das heißt nicht, dass die offiziellen Benchmarks wertlos sind. Zwei der Aussagen sind strukturell nützlich.

Die Aussage zur Parametereffizienz, bessere Scores mit 38% weniger Parametern, ist falsifizierbar und richtungsweisend wichtig, weil sie den Einsatz prognostiziert, nicht nur die Qualität. Ein 5.6B-Bild-Backbone plus ein 4B-Textencoder und ein optionaler 9B-Prompt-Upsampler ist nicht dasselbe wie ein 5.6B-System, und dass das kleine Modell die Hilfe eines Sprachmodells braucht, um gute Prompts zu schreiben, ist selbst ein Befund. Kurze Prompts liefern mittelmäßige Ergebnisse; das ist eine Einsatzbeschränkung, die sich als Fußnote verkleidet.

Auch die Latenzaussage ist nützlich, selbst mit einer Methodik, die der Heimmannschaft hilft. Vier bis sieben Sekunden pro Megapixel für ein lokal lauffähiges Modell sind die Zahl, die entscheidet, ob sich ein interaktives Tool interaktiv anfühlt. Wenn Sie eine UI bauen, in der jemand einen Rahmen zieht und wartet, dann ist das die Zahl, die zählt, und sie steht in keinem Elo-Diagramm.

Wie man den nächsten Launch liest

Vier Fragen, in dieser Reihenfolge, und Sie können den größten Teil des Diagramms überspringen.

Wie sah das Testset aus? Wenn der Anbieter es gebaut hat, behandeln Sie es als Demo, nicht als Messung.

War es blind und von Dritten? Zweihundert echte Aufgaben mit versteckter Modellidentität sind mehr wert als zehntausend Anbieter-Vergleiche.

Woran ist es gescheitert? Das Fehlerbild ist die Produktentscheidung. "Schlechter bei Posenwechseln" sagt Ihnen, wo Sie es nicht einsetzen sollten.

Was hat es gekostet? Normalisieren Sie jeden Score vor dem Vergleich auf den Preis, und denken Sie daran, dass die Kosten eines Retrys Teil der Kosten eines Modells sind.

Das Modell, das das Diagramm gewinnt, und das Modell, das Ihre Pipeline gewinnt, sind häufig nicht dasselbe, und der Abstand dazwischen steckt meist in einer Spalte, die niemand screenshottet.

Die leise Erkenntnis

Open-Weights-Bildmodelle sind gut genug geworden, dass die offene Frage nicht mehr lautet, ob sie mithalten können. In einem Blindtest mit 200 Aufgaben landete ein offenes 5.6B-Modell innerhalb von drei Zehntelpunkten eines geschlossenen Wettbewerbers, bei einem Fünftel des Preises, und die Uneinigkeiten betrafen bestimmte Aufgabentypen, nicht die Gesamtfähigkeit.

Ein reifer Markt verhält sich wie ein reifer Markt: kein einzelner Sieger, aufgabenspezifisches Routing und eine Kostenspalte, die mehr Deployments entscheidet als jeder Benchmark. Die Anbieterdiagramme werden weiter jeden Monat kommen. Die nützliche Fähigkeit ist zu wissen, welche der drei Zahlen man gerade vor sich hat.