Ein proprietäres Vision-Modell mit öffentlichen Daten nachgebaut, und auf einem Benchmark vorn

Eine Forschungsgruppe hat ein proprietäres Vision-Modell allein mit öffentlichen Modellen und öffentlichen Daten nachgebaut, und auf mindestens einem Benchmark liegt sie vorn.
Die Zahl: 73.9 mIoU zero-shot auf Cityscapes mit einem 9B-Modell, gegenüber 69.9, die für Vision Banana gemeldet wurden. Dieser Vergleich ist die Schlagzeile. Nützlicher sind die Details darunter.
Was gebaut wurde
Open Vision Banana stammt aus dem Fundamental AI Lab der Technischen Universität Nürnberg, mit Beteiligten von DLR, AIST, Tübingen, TUM und valeo.ai. Der Ansatz: ein vorhandenes Open-Weight-Generatormodell, FLUX.2-Klein, wird in den Größen 4B und 9B feinjustiert, auf 2.1 bis 3.8 Millionen Trainingspaaren aus öffentlichen Datensätzen wie COCO-Stuff, ADE20K, BDD100K und NYUv2.
Die Einordnung zählt. Hier wird ein Generator für Wahrnehmung umfunktioniert: Tiefe, Segmentierung, Referring, Reasoning, während das ursprüngliche Verhalten bei der Bildbearbeitung erhalten bleibt. Die Generationsfähigkeit des Basismodells übersteht das Finetuning, und deshalb sind die Ergebnisse über den Segmentierungswert hinaus interessant.
Die 73.9 braucht eine Fußnote
Die Zero-Shot-Zahl auf Cityscapes hängt an einem Verfahren, das die Autoren einführen und legend ensembling nennen.
Ein einzelner Vorwärtspass ergibt 65.4 mIoU. Die Lücke zu 73.9 entsteht durch mehrere Läufe mit unterschiedlichen Farbe-zu-Klasse-Legenden, deren Ausgaben per Mehrheitsentscheid pro Pixel fusioniert werden. Auf Cityscapes bringt das 8.7 Punkte. Auf COCO-Object 15.0.
Ehrlich gelesen heißt die Schlagzeile also: Das Modell braucht mehrere Durchläufe, um dorthin zu kommen, und der Nutzen des Verfahrens skaliert damit, wie sehr eine Aufgabe von Abstimmung profitiert. In einer Pipeline mit knapper Latenz, in der ein Durchlauf das ganze Budget ist, bekommt man 65.4.
Das ist kein Vorwurf an das Paper. Die Autoren nennen beide Zahlen, was viele Benchmark-Tabellen nicht tun. Es ist eine Erinnerung daran, wie man eine mIoU-Behauptung liest, die ohne Kostenspalte ankommt.
Wo die Lücke größer wird
Der Segmentierungssieg überträgt sich nicht auf alles, und das Paper sagt das selbst.
Bei Referring- und Reasoning-Segmentierung bleiben die Nicht-Zero-Shot-Varianten innerhalb von fünf Punkten zu Vision Banana. Bei Instanzsegmentierung liegt das Modell deutlich zurück: 37.4 cgF1 gegen 47.5 auf SA-Co/Gold.
Zur Tiefenschätzung heißt es, die Ergebnisse seien mit den besten affine-invarianten Tiefenschätzern vergleichbar. Eine vorsichtige Formulierung für Gleichstand in einem vollen Feld.
Das Gesamtbild: ein Modell, das die proprietäre Referenz bei der Aufgabe erreicht oder schlägt, auf die die Autoren optimiert haben, das bei zwei benachbarten Aufgaben herankommt und bei der Trennung auf Instanzebene zurückfällt. So sieht eine gute Reproduktion aus. Eine, die überall gewinnt, wäre verdächtig.
Die Veröffentlichung ist der eigentliche Beitrag
Akademische Reproduktionen liefern meist ein Paper und sonst nichts. Diese liefert die Datenpipeline, den Trainings- und Evaluationscode sowie finale und intermediäre Checkpoints.
Erst diese Kombination macht ein Ergebnis überprüfbar. Mit intermediären Checkpoints sieht man, ob das Modell Tiefe vor Segmentierung gelernt hat oder umgekehrt, und man kann von einem früheren Punkt aus weitertrainieren, statt den kompletten Lauf zu bezahlen.
Auch die Rechenkosten stehen dabei, was selten ist. Rund 73 Stunden auf 16 GH200 für das 4B-Modell, etwa 79 Stunden auf 32 GH200 für das 9B.
Diese Zahlen entscheiden, wer replizieren kann. 16 GH200 sind ein Hochschulcluster oder ein gut finanziertes Labor, kein Laptop. 32 sind eine ernsthafte Zuteilung. Öffentlich heißt nicht billig, und dass die 4B-Variante fast so viel taugt wie die 9B, macht die Sache erreichbar: zwei GH200-Knoten für drei Tage, das ist ein Förderantrag, kein Rechenzentrum.
Warum die Reproduktion eines proprietären Modells zählt
Die ursprünglichen Ergebnisse von Vision Banana waren gerade deshalb interessant, weil niemand außerhalb des Unternehmens sie prüfen konnte. Eine Reproduktion, die bei den meisten Aufgaben wenige Punkte entfernt liegt und bei einer vorn ist, ändert den Status dieser Ergebnisse: aus einer Behauptung wird ein Ziel.
Ein Nebeneffekt wird gern übersehen. Wird die Evaluation eines geschlossenen Modells auf offenen Gewichten nachvollzogen, vergleicht man Trainingsdaten und Methode statt Größenordnung. Ein 9B-Modell, das mit einem proprietären System mithält, legt nahe, dass der Vorsprung in der Datenmischung und der Aufgabenformulierung lag, und beides lässt sich nachbauen.
Der Aufwand steckt vor allem im Datensatz. COCO-Stuff, ADE20K, BDD100K und NYUv2 sind alle öffentlich, für verschiedene Zwecke annotiert, und keiner wurde gebaut, um ein einheitliches Modell für Tiefe, Segmentierung und Bearbeitung zugleich zu trainieren. 2.1 bis 3.8 Millionen Paare daraus zu bauen heißt, nicht zueinander passende Label-Räume zu versöhnen. Unspektakuläre Arbeit, und vermutlich die Stelle, an der die meiste Zeit hinging.
Wenn das Rezept übertragbar ist, lautet die nächste Frage, ob derselbe Trick bei anderen proprietären Wahrnehmungsmodellen funktioniert. Das Muster ist allgemein: einen starken offenen Generator nehmen, ihn auf einem großen zusammengestellten Überwachungssatz finetunen, über mehrere Aufgaben evaluieren, damit die Lücken sichtbar werden. Neue Architektur braucht es nicht, und genau das macht es bedrohlich für alle, deren Graben eine unveröffentlichte Trainingsmischung war.
Ein dritter Effekt: Das Basismodell ist ein Generator. Wenn dieselben Gewichte Tiefe, Segmentierung und Bearbeitung abdecken, kann eine Produktionspipeline drei Spezialmodelle und ein Bearbeitungsmodell durch einen Checkpoint ersetzen, um den Preis etwas Genauigkeit bei der schwierigsten Instanzarbeit. Diesen Tausch messen Sie auf Ihren eigenen Daten, nicht auf Cityscapes.
Was man daraus mitnimmt
Die übertragbare Lehre liegt in der Struktur der Behauptung, der 73.9-Wert ist nur die Hülle: reproduzieren, die Lücke pro Aufgabe ehrlich berichten, die Zwischenstände veröffentlichen, den Rechenaufwand nennen.
Wer eine Schlagzeile der Art "schlägt das proprietäre Modell" prüft, kann dieselben drei Fragen stellen. Steckt in der Zahl ein Trick zur Inferenzzeit, und was kostet er. Hält der Sieg auch bei Aufgaben, für die nicht optimiert wurde. Kommt jemand mit kleinerem Cluster mit dem veröffentlichten Rezept auf wenige Punkte heran.
Open Vision Banana beantwortet alle drei im Text, und deshalb lohnt das Paper die Lektüre über das Abstract hinaus.
Eine Frage bleibt offen, und es ist die, die ein Käufer stellen würde. Das Paper zeigt, dass öffentliche Daten und ein öffentliches Basismodell die Benchmark-Zahlen eines proprietären Systems reproduzieren können. Es zeigt nicht, dass die Reproduktion bei den unsauberen Eingaben nützt, die ein Produkt tatsächlich bekommt: schlecht beleuchtete Fotos, Screenshots von Screenshots, Bilder mit eingebranntem Text, Ausschnitte kleiner als die Trainingsverteilung. Benchmarks wie Cityscapes sind von der Konstruktion her ordentlich.
In dieser Lücke werden die nächsten Vergleiche stattfinden, und dort hat ein offener Checkpoint den Vorteil gegenüber einem geschlossenen. Jeder kann ihn morgen auf eigenen Daten testen.
Verwandte Artikel
Der Verwaltungsrat baute nebenbei einen Exportausschuss
Nur eines der beiden Ereignisse vom 17. November wurde zur Schlagzeile. Das andere verändert das Unternehmen wahrscheinlicher: ein ständiger Ausschuss für Exportkontrolle.
Nvidia hat nie eine zweite Reihe gebaut
Nvidia hat dreiunddreißig Jahre auf die Autorität eines Gründers gebaut. Die Suche nach seinem Nachfolger zeigt, was dabei nie mitgebaut wurde: eine zweite Reihe.
Zehn Abstufungen, keine einzige neue Zahl
Niemand hat neue Daten zum Auftragsbestand geliefert. Geändert hat sich nicht die Mitte der Prognose, sondern die Breite der Spanne – und das reicht für zehn Abstufungen.
Ein Konzern, vier Billionen Dollar und eine einzige Person
In neun Tagen wechselt Nvidia den Chef, baut den Verwaltungsrat um und legt trotzdem Zahlen vor. Der Markt hat in dieser Zeit vor allem eines getan: einen Preis für einen einzigen Menschen gefunden.