Un modello da 1.6B ha smesso di tradurre le immagini in token, e batte le architetture che lo fanno

Un team della Huazhong University of Science and Technology (HUST), in collaborazione con Horizon Robotics, ha pubblicato questo mese un articolo su un'architettura multimodale che non imbocca nessuna delle due strade che tutti gli altri hanno percorso. Il modello si chiama MF-1. Ha 1.6 miliardi di parametri, è stato addestrato da zero su 150 miliardi di token e supera entrambi gli approcci consolidati in un confronto controllato con dati e budget di calcolo identici.
Il risultato conta meno per i numeri dei benchmark che per quello che dice su quanto addestramento multimodale venga oggi sprecato in architettura.
Le due strade, e quanto costa ciascuna
Da qualche anno ci sono due modi per mettere linguaggio e immagini nello stesso modello.
La strada pienamente discreta, quella di Chameleon e Emu3, quantizza le immagini in token discreti così che tutto diventi un'unica lunga sequenza di interi e un unico obiettivo autoregressivo. È elegante e ha un tetto duro: il tokenizer visivo butta via il dettaglio ad alta frequenza durante la quantizzazione. Texture fini, testo piccolo e sfumature sottili vengono appiattiti prima ancora che il modello li veda. Si può migliorare il tokenizer, e qualcuno l'ha fatto, ma il tetto è strutturale.
La strada ibrida, quella di Transfusion e JanusFlow, tiene il testo discreto e le immagini continue. Il testo passa per la next-token prediction. Le immagini passano per un processo di diffusione. Questo evita del tutto il collo di bottiglia della quantizzazione e crea un problema diverso: il modello ora mantiene due funzioni obiettivo e due pipeline di campionamento, e farle ottimizzare congiuntamente è un progetto di ingegneria più che una domanda di ricerca. Ogni ablazione costa il doppio.
Entrambe le strade implicano tradurre una modalità nel formato dell'altra. È quel compromesso che Multimodal Flow rifiuta.
Un obiettivo, due formati nativi
Il design tiene il linguaggio nel suo spazio di embedding continuo e le immagini nel loro, e condivide un unico obiettivo di Flow Matching su entrambi.

In concreto: il testo è diviso in blocchi di otto token, ogni blocco codificato da un T5-small congelato in un text hyperchunk continuo. Le immagini passano per un encoder SigLIP2 congelato ed escono come una griglia spaziale 16 per 16, che forma un visual hyperchunk. Gli hyperchunk vengono incatenati in un'unica sequenza nell'ordine che il compito richiede e immessi in un Chunk-Causal Flow backbone condiviso.
La maschera di attenzione è la parte ingegnosa. Nel predire il k-esimo hyperchunk, tutti gli hyperchunk precedenti sono completamente visibili, le posizioni dentro il blocco corrente sono modellate congiuntamente e i blocchi successivi sono mascherati. La causalità vale a granularità di blocco, e l'informazione scorre liberamente dentro un blocco. È questo che permette a un hyperchunk visivo da 256 celle di essere generato come un'immagine coerente invece che come 256 decisioni indipendenti.
La seconda scelta di design è un ibrido dentro il transformer. I layer di attenzione sono condivisi, così linguaggio e visione possono guardarsi. I layer FFN restano specifici per modalità, perché le statistiche di rappresentazione delle due sono abbastanza diverse che forzarle attraverso un solo blocco feedforward fa male. Le ablazioni dell'articolo lo confermano, a quanto si dice, ed è il tipo di dettaglio che fa risparmiare tre mesi a tutti gli altri.
I blocchi di testo sono lunghi otto token, il che è un compromesso deliberato. Blocchi più piccoli danno controllo più fine e più posizioni di sequenza. Blocchi più grandi rendono la maschera causale più economica. Otto è dove è atterrato lo scambio.
I numeri
Testo a immagine: GenEval complessivo 0.821, allineamento su prompt lunghi DPG-Bench 83.44. Nel sotto-compito di conteggio di GenEval, MF-1 arriva a 0.73, ben davanti ai modelli unificati della stessa scala. Il conteggio è stato a lungo un imbarazzo per le architetture unificate perché richiede di legare un numero a più istanze, e modellare congiuntamente un blocco visivo sembra aiutare.
Comprensione: VQAv2 72.6, MMBench 67.2, POPE 86.1, media 75.3. Quella media batte alcuni modelli della stessa dimensione inizializzati da un modello linguistico preaddestrato, ed è questa la cosa sorprendente. Partire da un LLM preaddestrato di solito è prestazione gratis.
Il confronto controllato è la parte che rende l'articolo degno di lettura. Stessi dati, stesso budget di parametri, stesso ottimizzatore, e Multimodal Flow batte sia l'ibrido in stile Transfusion sia l'architettura discreta in stile Chameleon su GenEval, GQA, VQAv2 e MMBench. Non di un punto su un benchmark. Su tutto l'insieme.
Perché il conteggio è il test che conta
Di tutti i sotto-compiti di GenEval, il conteggio è quello che separa le architetture nel modo più pulito.
Chiedere a un modello tre mele rosse richiede due cose insieme. Deve rappresentare il numero tre, e deve legare quel numero a tre istanze distinte di un oggetto, ognuna delle quali deve essere rossa e a forma di mela. I modelli a token discreti tendono a produrne due o quattro. I modelli di diffusione tendono a produrre un grappolo plausibile e a sperare che nessuno conti. I sistemi ibridi si avvicinano di più perché il lato immagine è continuo, ma il lato testo deve comunque consegnare una cardinalità che sopravviva al passaggio.
Che MF-1 segni 0.73 su quel sotto-compito conta più del 0.821 complessivo, perché il numero complessivo è in parte sostenuto da prompt facili su colori e oggetti semplici.
Perché 150 miliardi di token è la vera affermazione
I modelli multimodali di frontiera si addestrano su quantità di token nell'ordine dei trilioni. MF-1 ne ha usati 150 miliardi, su 1.6 miliardi di parametri, e ha raggiunto GenEval 0.821.
Se questo scala, cambia un presupposto. Il consenso attuale è che i modelli multimodali unificati costino cari perché servono dati enormi per imparare bene entrambe le modalità. Questo articolo suggerisce che buona parte di quel costo era l'architettura che pagava il compromesso: quantizzare le immagini costa qualità, quindi la si ricompra con più dati; mantenere due obiettivi costa efficienza di ottimizzazione, quindi la si ricompra con più calcolo.
Togli il compromesso e lo stesso budget arriva più lontano. Se questo regga a 10 miliardi o 100 miliardi di parametri resta senza risposta, e l'articolo non sostiene che regga. Il team dice esplicitamente che questa è una scala con una miscela di dati.
C'è un'implicazione di secondo ordine che si collega ad altri lavori di quest'anno. Una linea di ricerca separata ha provato a togliere del tutto il VAE dalla generazione di immagini, sulla base del fatto che comprimere un'immagine in un latente e riestrarla fa perdere informazione che nessuno aveva chiesto di perdere. Multimodal Flow tiene l'encoder e smette di trattare il suo output come qualcosa che vada riespresso in token simili al linguaggio. L'hyperchunk visivo resta visivo fino in fondo. È lo stesso istinto.
Cosa questo non risolve
Tre limiti che vale la pena dichiarare.
Gli encoder sono congelati. T5-small e SigLIP2 non sono stati addestrati congiuntamente con il flow backbone, il che significa che il tetto di qualità della rappresentazione è fissato altrove. Un encoder addestrato congiuntamente andrebbe probabilmente meglio, e costerebbe molto di più.
La risoluzione dell'immagine è 16 per 16 in termini di griglia latente, il che va bene per GenEval e non basta per qualsiasi cosa riguardi il rendering di testo o il dettaglio fine. La qualità di generazione ad alta risoluzione non è l'argomento di questo articolo.
E questo è un artefatto di ricerca. Il codice è su GitHub a hustvl/Multimodal-Flow, i pesi sono un punto di partenza più che un prodotto, e non c'è un'API ospitata. Nessuno sostituirà la propria pipeline di immagini con questo la settimana prossima.
Quello che fa è restringere lo spazio dei futuri plausibili. Se un modello pienamente continuo da 1.6B può battere entrambe le architetture unificate consolidate a parità di budget, allora il prossimo giro di modelli fondazionali multimodali ha una terza opzione di design che sei mesi fa non esisteva nella conversazione. Per un campo che ha speso molto calcolo a discutere di tokenizer, è una cosa utile da avere sul tavolo.
Articoli correlati
Un foglio di calcolo comunitario di tocchi che spegne la pubblicità negli Android cinesi
Non tocca il sistema, non sblocca niente, non flasha niente. Ribalta solo gli interruttori che i produttori hanno già previsto. Il prezzo è una lista che qualcuno deve continuare a scrivere.
GPT Image 2.6 ha tenuto il prezzo dei token e alzato la fattura
GPT Image 2.6 conserva ogni tariffa per token di 2.5 e costa comunque di più per immagine, perché buona parte del lavoro passa ora nei token di output. Undici giorni dopo il lancio, la struttura dei prezzi dice più della classifica.
Qualcuno ha ricostruito IDM dall'esterno e ha scritto cosa non ha toccato
Una reimplementazione in Rust di Internet Download Manager promette 5 volte la velocità e 86 lingue. Il documento più interessante è il paragrafo che spiega come è stata costruita senza copiare nulla.
Rune è un framework UI per Rust costruito perché un agente possa verificare il proprio lavoro
Rune renderizza headless, esporta il suo albero di elementi e accetta input scriptato, dando a un agente di coding un segnale diffabile che nessuno screenshot può offrire. Il framework è in pre-release e non accetta pull request.