Ein 1.6B-Modell übersetzt Bilder nicht mehr in Tokens und schlägt die Architekturen, die es tun

Ein Team der Huazhong University of Science and Technology (HUST) hat zusammen mit Horizon Robotics diesen Monat ein Paper über eine multimodale Architektur veröffentlicht, die keinen der beiden Wege geht, die alle anderen eingeschlagen haben. Das Modell heißt MF-1. Es hat 1.6 Milliarden Parameter, wurde von Grund auf auf 150 Milliarden Tokens trainiert und übertrifft beide etablierten Ansätze in einem kontrollierten Vergleich mit identischen Daten- und Rechenbudgets.
Das Ergebnis zählt weniger wegen der Benchmark-Zahlen als wegen dessen, was es darüber sagt, wie viel multimodales Training derzeit für Architektur verschwendet wird.
Die zwei Wege und was jeder kostet
Seit einigen Jahren gibt es zwei Arten, Sprache und Bilder in dasselbe Modell zu bringen.
Der vollständig diskrete Weg, den Chameleon und Emu3 gehen, quantisiert Bilder in diskrete Tokens, sodass alles eine lange Folge von Ganzzahlen und ein autoregressives Ziel wird. Das ist elegant, und es hat eine harte Decke: Der visuelle Tokenizer wirft während der Quantisierung hochfrequente Details weg. Feine Textur, kleine Schrift und subtile Verläufe werden plattgemacht, bevor das Modell sie überhaupt sieht. Man kann den Tokenizer besser machen, und das ist geschehen, aber die Decke ist strukturell.
Der hybride Weg, den Transfusion und JanusFlow gehen, hält Text diskret und Bilder kontinuierlich. Text läuft durch Next-Token-Vorhersage. Bilder laufen durch einen Diffusionsprozess. Das umgeht den Quantisierungsengpass vollständig und erzeugt ein anderes Problem: Das Modell unterhält nun zwei Zielfunktionen und zwei Sampling-Pipelines, und sie gemeinsam zu optimieren ist ein Engineering-Projekt statt einer Forschungsfrage. Jede Ablation wird doppelt so teuer.
Beide Wege beinhalten, eine Modalität in das Format der anderen zu übersetzen. Genau diesen Kompromiss verweigert Multimodal Flow.
Ein Ziel, zwei native Formate
Das Design hält Sprache in ihrem kontinuierlichen Embedding-Raum und Bilder in ihrem und teilt ein einziges Flow-Matching-Ziel über beide.

Konkret: Text wird in Blöcke von acht Tokens zerlegt, jeder Block von einem eingefrorenen T5-small in einen kontinuierlichen Text-Hyperchunk kodiert. Bilder laufen durch einen eingefrorenen SigLIP2-Encoder und kommen als 16-mal-16-Raster heraus, was einen visuellen Hyperchunk bildet. Hyperchunks werden in der Reihenfolge, die die Aufgabe verlangt, zu einer Sequenz aneinandergereiht und in ein gemeinsames Chunk-Causal-Flow-Backbone gegeben.
Die Attention-Maske ist der kluge Teil. Bei der Vorhersage des k-ten Hyperchunks sind alle früheren Hyperchunks vollständig sichtbar, Positionen innerhalb des aktuellen Blocks werden gemeinsam modelliert, und spätere Blöcke sind maskiert. Kausalität gilt auf Blockgranularität, und innerhalb eines Blocks fließt Information frei. Das ist es, was einen visuellen Hyperchunk mit 256 Zellen als zusammenhängendes Bild entstehen lässt statt als 256 unabhängige Entscheidungen.
Die zweite Designentscheidung ist ein Hybrid im Transformer. Attention-Schichten sind geteilt, sodass Sprache und Vision aufeinander achten können. FFN-Schichten bleiben modalitätsspezifisch, weil die Repräsentationsstatistiken beider sich stark genug unterscheiden, dass es schadet, sie durch einen Feedforward-Block zu zwingen. Die Ablationen des Papers bestätigen das angeblich, und das ist die Art Detail, die allen anderen drei Monate spart.
Textblöcke sind acht Tokens lang, was ein bewusster Kompromiss ist. Kleinere Blöcke geben feinere Kontrolle und mehr Sequenzpositionen. Größere Blöcke machen die kausale Maske billiger. Acht ist, wo der Trade-off gelandet ist.
Die Zahlen
Text zu Bild: GenEval gesamt 0.821, DPG-Bench Langprompt-Ausrichtung 83.44. In der Zähl-Subaufgabe von GenEval erreicht MF-1 0.73, deutlich vor einheitlichen Modellen gleicher Größe. Zählen war eine Peinlichkeit für einheitliche Architekturen, weil es erfordert, eine Zahl an mehrere Instanzen zu binden, und einen visuellen Block gemeinsam zu modellieren hilft offenbar.
Verstehen: VQAv2 72.6, MMBench 67.2, POPE 86.1, im Mittel 75.3. Dieser Durchschnitt schlägt einige gleich große Modelle, die von einem vorab trainierten Sprachmodell initialisiert wurden, und das ist das Überraschende. Von einem vorab trainierten LLM zu starten ist normalerweise kostenlose Leistung.
Der kontrollierte Vergleich ist der Teil, der das Paper lesenswert macht. Gleiche Daten, gleiches Parameterbudget, gleicher Optimierer, und Multimodal Flow schlägt sowohl den Hybrid im Transfusion-Stil als auch die diskrete Architektur im Chameleon-Stil bei GenEval, GQA, VQAv2 und MMBench. Nicht um einen Punkt in einem Benchmark. Über den ganzen Satz.
Warum Zählen der Test ist, auf den es ankommt
Von allen GenEval-Subaufgaben trennt Zählen die Architekturen am saubersten.
Ein Modell um drei rote Äpfel zu bitten, verlangt zwei Dinge zugleich. Es muss die Zahl drei repräsentieren, und es muss diese Zahl an drei verschiedene Instanzen eines Objekts binden, von denen jede rot und apfelförmig sein muss. Diskrete Token-Modelle neigen dazu, zwei oder vier zu produzieren. Diffusionsmodelle neigen dazu, einen plausiblen Haufen zu produzieren und zu hoffen, dass niemand zählt. Hybride Systeme kommen näher, weil die Bildseite kontinuierlich ist, aber die Textseite muss trotzdem eine Kardinalität übergeben, die die Übergabe übersteht.
Dass MF-1 in dieser Subaufgabe 0.73 erreicht, ist bedeutender als die 0.821 gesamt, weil die Gesamtzahl teilweise von leichten Prompts zu Farben und einfachen Objekten getragen wird.
Warum 150 Milliarden Tokens die eigentliche Behauptung sind
Frontier-multimodale Modelle werden mit Token-Zahlen in Billionen trainiert. MF-1 nutzte 150 Milliarden, bei 1.6 Milliarden Parametern, und erreichte GenEval 0.821.
Wenn das skaliert, ändert es eine Annahme. Der aktuelle Konsens ist, dass einheitliche multimodale Modelle teuer sind, weil sie enorm viele Daten brauchen, um beide Modalitäten gut zu lernen. Dieses Paper legt nahe, dass ein großer Teil dieser Kosten die Architektur war, die den Kompromiss bezahlt hat: Bilder zu quantisieren kostet Qualität, also kauft man sie mit mehr Daten zurück; zwei Ziele zu unterhalten kostet Optimierungseffizienz, also kauft man sie mit mehr Rechenleistung zurück.
Nimmt man den Kompromiss heraus, reicht dasselbe Budget weiter. Ob das bei 10 Milliarden oder 100 Milliarden Parametern hält, ist unbeantwortet, und das Paper behauptet es nicht. Das Team sagt ausdrücklich, dass dies eine Skala mit einer Datenmischung ist.
Es gibt eine Implikation zweiter Ordnung, die an andere Arbeiten dieses Jahres anschließt. Eine separate Forschungslinie versucht, den VAE ganz aus der Bildgenerierung zu entfernen, mit der Begründung, dass das Komprimieren eines Bildes in einen Latent und wieder heraus Information verliert, deren Verlust niemand verlangt hat. Multimodal Flow behält den Encoder und hört auf, seinen Output als etwas zu behandeln, das als sprachähnliche Tokens neu ausgedrückt werden muss. Der visuelle Hyperchunk bleibt durchgehend visuell. Das ist derselbe Instinkt.
Was das nicht löst
Drei Grenzen, die es wert sind, genannt zu werden.
Die Encoder sind eingefroren. T5-small und SigLIP2 wurden nicht gemeinsam mit dem Flow-Backbone trainiert, was bedeutet, dass die Decke der Repräsentationsqualität anderswo gesetzt wird. Ein gemeinsam trainierter Encoder würde wahrscheinlich besser sein und deutlich mehr kosten.
Die Bildauflösung beträgt 16 mal 16 in Latent-Raster-Begriffen, was für GenEval reicht und für alles mit Textrendering oder feinem Detail nicht. Generierungsqualität bei hoher Auflösung ist nicht das Thema dieses Papers.
Und das ist ein Forschungsartefakt. Der Code liegt auf GitHub unter hustvl/Multimodal-Flow, die Gewichte sind ein Ausgangspunkt statt ein Produkt, und es gibt keine gehostete API. Niemand wird nächste Woche seine Bild-Pipeline damit ersetzen.
Was es tut, ist den Raum plausibler Zukünfte zu verengen. Wenn ein vollständig kontinuierliches 1.6B-Modell beide etablierten einheitlichen Architekturen bei gleichem Budget schlagen kann, dann hat die nächste Runde multimodaler Foundation-Modelle eine dritte Designoption, die es in der Diskussion vor sechs Monaten nicht gab. Für ein Feld, das viel Rechenleistung damit verbracht hat, über Tokenizer zu streiten, ist das eine nützliche Sache auf dem Tisch.
Verwandte Artikel
Eine community-gepflegte Tabelle von Taps, die Werbung in chinesischen Android-Builds abschaltet
Es fasst das System nicht an, entsperrt nichts, flasht nichts. Es legt nur die Schalter um, die die Hersteller ohnehin vorgesehen haben. Der Preis ist eine Liste, die jemand weiterführen muss.
GPT Image 2.6 hielt den Tokenpreis und erhöhte die Rechnung
GPT Image 2.6 übernimmt jeden Tokenpreis von 2.5 und kostet pro Bild dennoch mehr, weil ein größerer Teil der Arbeit in Ausgabe-Token landet. Elf Tage nach dem Start sagt die Preisstruktur mehr als jede Rangliste.
Jemand hat IDM von außen nachgebaut und aufgeschrieben, was er nicht angefasst hat
Eine Rust-Neuimplementierung von Internet Download Manager verspricht 5x Tempo und 86 Sprachen. Das interessantere Dokument ist der Absatz, der erklärt, wie sie ohne jede Kopie entstanden ist.
Rune ist ein Rust-UI-Framework, das gebaut wurde, damit ein Agent seine eigene Arbeit prüfen kann
Rune rendert headless, gibt seinen Elementbaum aus und nimmt geskriptete Eingaben an. Damit bekommt ein Coding-Agent ein Signal zum Diffen, das ein Screenshot nie liefert. Das Framework ist Pre-Release und nimmt keine Pull Requests an.