PixelUMM elimina i due componenti da cui dipende ogni modello AI visivo

Il 1° ottobre, uno sviluppatore che pubblica con il nome CongWei1230 ha rilasciato PixelUMM, un modello multimodale senza encoder che gestisce comprensione e generazione di immagini e video direttamente nello spazio dei pixel. Il codice e i pesi addestrati sono pubblici. La parte interessante è ciò che il modello non contiene.

La maggior parte dei sistemi di AI visiva costruiti negli ultimi anni condivide due componenti. Un autoencoder variazionale comprime un'immagine in una rappresentazione latente compatta, e il modello generativo lavora in quello spazio compresso anziché sui pixel grezzi. Parallelamente, i vision transformer trasformano un'immagine in patch su cui un modello linguistico può ragionare. PixelUMM li elimina entrambi. Rimuove lo spazio latente usato per la generazione e l'encoder a patch usato per la comprensione, ed elabora direttamente i pixel.

Questa affermazione è architetturale, e vale la pena capire perché quasi tutti gli altri hanno mantenuto quei componenti.

Cosa facevano i due componenti

Un VAE esiste per rendere la generazione sostenibile. Una fotografia a 1024 per 1024 con tre canali di colore è circa tre milioni di numeri. Eseguire un processo di diffusione su tre milioni di valori a ogni passo è costoso, quindi il VAE comprime l'immagine in una griglia latente più piccola, e il modello esegue il denoising lì. Il compromesso è che il VAE introduce un collo di bottiglia con perdita. Dettagli fini e rendering preciso del testo spesso perdono informazioni nella compressione, ed è una delle ragioni per cui i primi modelli di immagini faticavano con scritte piccole.

Il ViT esiste per rendere possibile la comprensione. I modelli linguistici consumano token, e un ViT converte un'immagine in una sequenza di embedding di patch che assomigliano a token. È così che un modello multimodale può rispondere a domande su un'immagine. Il compromesso è che la griglia di patch è fissa, e le informazioni ai confini tra le patch possono confondersi.

La scommessa di PixelUMM è che eliminando entrambi, può unificare comprensione e generazione in un unico framework ed evitare gli artefatti introdotti da ciascun componente.

Perché è difficile

La diffusione a livello di pixel è stata proposta prima e si è ripetutamente scontrata con la potenza di calcolo. Se un modello latente esegue il denoising su una griglia latente 128 per 128, un modello a pixel esegue il denoising su una griglia di immagine 1024 per 1024, che corrisponde a circa 64 volte tante posizioni per passo. Le lunghezze delle sequenze esplodono, i costi dell'attenzione scalano con il quadrato della lunghezza della sequenza, e il risultato è una bolletta di addestramento e inferenza che la maggior parte dei laboratori non pagherà per un guadagno di qualità moderato.

La comprensione senza encoder ha un problema diverso. Addestrare un modello a ragionare direttamente sui pixel grezzi significa che il modello deve apprendere le caratteristiche visive da zero anziché partire da un encoder visivo preaddestrato. Si tratta di una grande quantità di supervisione da recuperare, e non è ovvio che il beneficio superi il costo.

PixelUMM è una scommessa sul fatto che semplicità architetturale e fedeltà valgano la potenza di calcolo. I pesi rilasciati sono la prova per valutarla. Se vincerà in termini di qualità per dollaro è una questione aperta che sarà risolta da chi lo eseguirà, non dal post di rilascio. È il normale ciclo di vita di una proposta architetturale: interessante finché qualcuno non la sottopone a benchmark, poi utile o dimenticata.

La parte davvero nuova

Ciò che rende il rilascio degno di attenzione è l'affermazione di unificazione. La maggior parte degli stack di produzione per immagini e video è assemblata da parti progettate separatamente: un VAE addestrato per uno scopo, un transformer di diffusione per un altro, un encoder visivo per un terzo. Ogni punto di giunzione tra loro è un luogo in cui il comportamento può differire tra addestramento e deployment, e in cui gli errori si accumulano.

Un unico framework che gestisce generazione e comprensione nella stessa rappresentazione rimuove quelle giunzioni. Se funziona, il debug di una pipeline multimodale diventa più semplice, perché c'è una sola rappresentazione e un solo insieme di modalità di errore invece di quattro.

C'è anche una questione legata ai dati. Un modello che non comprime mai non eredita artefatti di compressione, quindi in linea di principio può preservare dettagli esatti, incluso testo e texture fini, senza una fase di rifinitura separata. Questo è rilevante per chiunque costruisca pipeline per documenti, UI o immagini di prodotto, dove piccoli errori sono squalificanti.

Il tempismo non è casuale

PixelUMM è arrivato nella stessa settimana in cui diversi sistemi commerciali hanno fatto della preservazione dei dettagli la loro caratteristica principale. Black Forest Labs ha rilasciato FLUX 3 Image con output 4K e modifiche regionali che preservano i pixel, e le varianti di Imagen 4 di Google sono approdate su una piattaforma hosted. Il mercato sta chiaramente premiando i modelli che mantengono ciò che l'utente aveva mentre cambiano solo ciò che l'utente ha chiesto di cambiare.

La generazione nello spazio dei pixel è la risposta di un ricercatore alla stessa domanda a cui quei prodotti rispondono con ingegneria industriale. La via commerciale aggiunge risoluzione e controlli di modifica sopra un'architettura latente. La via della ricerca rimuove l'architettura latente e la paga in termini di potenza di calcolo. Entrambe cercano di raggiungere il punto in cui i dettagli generati sopravvivono all'esame, e saranno giudicate dagli stessi utenti.

Perché qualcuno l'ha rilasciato ora

Il rilascio è anche un commento su dove si trova l'ecosistema aperto. Per due anni la comunità dei modelli aperti ha gareggiato principalmente sulla scala, pubblicando modelli sempre più grandi addestrati su più dati. Quella competizione ha prodotto sistemi genuinamente capaci, e ha anche prodotto molte architetture molto simili, dato che quasi tutte usano lo stesso design di diffusione latente e la stessa famiglia di encoder visivi.

Rilasciare un modello senza encoder è un modo per competere sulla struttura invece che sulla dimensione. È più economico provare un'architettura diversa che superare in spesa i più grandi laboratori sui dati di addestramento, ed è un contributo più utile se funziona. Una comunità che si limita a scalare i design esistenti converge su un unico approccio. Una comunità che mette alla prova alternative mantiene vive più opzioni.

Questa è la lettura benevola, ed è probabilmente quella giusta. I pesi rilasciati danno all'approccio una possibilità di essere valutato equamente, che è più di quanto ottengano la maggior parte delle proposte architetturali.

Cosa conterebbe come successo

I pesi sono disponibili, quindi i test sono economici da eseguire e difficili da falsificare.

Guardate al rendering del testo. La generazione senza encoder dovrebbe gestire caratteri piccoli meglio di un modello latente con lo stesso budget, altrimenti non c'è motivo di accettare il costo computazionale.

Guardate a memoria e latenza su un singolo acceleratore consumer. Se il modello richiede hardware da data center per produrre un'immagine modesta, resta un artefatto di ricerca. Se gira a una velocità utile su una scheda workstation di fascia alta, diventa uno strumento.

Guardate al percorso video. Il rilascio dichiara una gestione unificata di immagini e video, e il video è il punto in cui l'argomento della potenza di calcolo morde più forte, perché la lunghezza della sequenza temporale moltiplica tutto. Una breve clip credibile generata nello spazio dei pixel sarebbe la prova più forte per l'approccio.

Aspettatevi risultati misti. Le nuove architetture di solito lo sono, e i primi benchmark pubblici raramente raccontano tutta la storia. Un rilascio come questo conta perché rende esplicite le assunzioni del design dominante, e quelle assunzioni sono state considerate stabilite per abbastanza tempo che è utile vedere qualcuno metterle direttamente alla prova.