MOSS-Image da 5B scrive bene il cinese sui poster, ma non sa modificare un'immagine

A metà ottobre, un modello open source chiamato MOSS-Image ha iniziato a circolare in diversi gruppi tecnici cinesi. Il motivo era semplice: riesce a scrivere correttamente i caratteri cinesi su un poster.

Detta così sembra un complimento a un adulto che sa usare le bacchette. Ma chiunque abbia fatto un poster, un'infografica o la scheda di un prodotto per l'e-commerce sa quanto sia difficile. Negli ultimi due anni ci siamo abituati a un flusso preciso: far generare l'immagine al modello, poi aprire il software di fotoritocco e coprire una per una le scritte venute storte, riscrivendole. Il modello disegna, la persona scrive: una divisione del lavoro chiara.

MOSS-Image vuole cambiare proprio questa divisione. Arriva dal team OpenMOSS (il gruppo NLP dell'Università Fudan e Shanghai Chuangzhi, tra gli altri), 5B parametri, architettura DiT a flusso singolo, pre-addestrato da zero, pesi rilasciati con licenza Apache-2.0.

Che cosa ha azzeccato davvero

Nelle valutazioni ufficiali la parte più interessante è il rendering di testi lunghi. Il set di test copre 120 attività in cinese e 120 in inglese, con una lunghezza media del testo target di circa 1339.8 caratteri, e sull'indice Mean-6 il modello ottiene 96.3. È un nuovo massimo tra i modelli a pesi aperti. Per «testo lungo» non si intende un titolo di quattro caratteri, ma un intero paragrafo, con tanto di a capo e struttura in paragrafi da rispettare.

Il secondo punto è il layout. Supporta input JSON Layout strutturati: si scompone l'immagine in summary e items, ogni elemento ha un tipo, una descrizione, un contenuto testuale e un box di coordinate bbox, e il modello dispone gli elementi dentro quel box. Su questo compito il mIoU dei box di rilevamento è 0.8786, mentre quello del layout complessivo è 0.6788. Tradotto: gli elementi finiscono più o meno dove li hai indicati, ma la composizione d'insieme non è ancora precisa come quella di un software di design.

Il terzo punto è la lunghezza del prompt. Accetta prompt fino a circa 4K token. Per chi scrive poster è un numero che cambia tutto, perché la descrizione di un'infografica è già lunga di suo: che sensazione tipografica deve avere il titolo principale, che gerarchia ha il sottotitolo, quale numero di colore usare per la palette, quale icona mettere nell'angolo in basso a sinistra. Prima bisognava comprimere tutto in una frase, adesso si può scrivere per esteso.

Installarlo è facile, il problema è che non vuole modificare le immagini

Farlo girare è banale. Cloni il repository, crei l'ambiente virtuale, installi le dipendenze, poi lanci Gradio o scrivi direttamente in Python:

Dopo clone, ambiente e dipendenze, con pip install -e '.[ui]' e poi python gradio_app.py --model OpenMOSS-Team/MOSS-Image-Base hai l'interfaccia. Lato Python si carica con il custom_pipeline di Diffusers; il campionamento predefinito è Flow-matching Euler, 50 passi, CFG 3, shift 5, con salto di layer del ramo negativo al livello 22. Se la VRAM non basta si passa alla modalità Sequential, al prezzo della lentezza.

Il vero problema è qui: è un modello puramente text-to-image. Non accetta immagini di riferimento e non ha capacità di editing native. Vuoi «cambiare il titolo di questo poster»? Non si può: devi rigenerare tutto. Anche il modulo di potenziamento del prompt si appoggia a un modello linguistico esterno, il modello non lo fa da solo.

Non è un difetto da poco. Chi produce materiali passa l'ottanta per cento del tempo a modificare immagini, non a generarle: il cliente chiede che il logo sia due millimetri più grande, l'ufficio legale vuole togliere quella frase promozionale, il marketing dice che il colore di questo SKU è sbagliato. Un modello che sa solo partire da zero rinchiude queste persone in un ciclo di «tirare di nuovo il dado». E la seconda estrazione ha già una composizione diversa.

Nel flusso di lavoro reale, quindi, assomiglia più a un «generatore di punti di partenza»: lo usi per azzeccare layout e testi in un colpo, esporti, poi rifinisci nel software di design. È già più comodo di prima, ma non è il traguardo.

A quali condizioni arriva quel 96.3

Vale la pena precisarlo, per non farsi trascinare dai numeri. Il 96.3 è calcolato su uno specifico set di valutazione, con uno specifico indice, su testi target di lunghezza media 1339 caratteri. Dimostra che «in questa fascia di lunghezza e su questo tipo di compito di impaginazione la sua accuratezza del testo è avanti rispetto ai pari open source», non equivale a «qualsiasi testo cinese, di qualsiasi lunghezza, verrà scritto senza errori».

In più, nella model card il team ha scritto da sé i confini: il backbone è puramente text-to-image, non accetta immagini di riferimento né esegue editing nativo, e il potenziamento dei prompt dipende da un LLM esterno. Dichiarare i limiti in modo attivo non è comune tra i modelli open source, e merita una nota.

La community ha già iniziato a coprirne i punti deboli

A meno di due settimane dal rilascio, la community si è mossa in fretta. DiffSynth-Studio ha supportato il fine-tuning completo e il training LoRA sia per la versione Base sia per la SFT. Qualcuno ha fatto DeBand LoRA, pensato per sopprimere quelle bande cromatiche verticali tipiche della versione SFT, precisando però il compromesso: comprimere le strisce cambia i dettagli. Altri hanno realizzato una versione distillata DMD a 8 passi, con adattatore LoRA per ComfyUI.

Messe insieme, queste tre cose dicono che viene trattato come «modello di base» e non come «prodotto finito». Che qualcuno sia disposto ad addestrarci sopra un LoRA e a distillarlo dice del suo valore reale più di quante star abbia preso al lancio.

Quanto a Base o SFT: negli esempi di confronto ufficiali la versione SFT ha gruppi di testo più leggibili e impaginazioni da lavagna più ordinate. Per poster e infografiche conviene andare direttamente su SFT; se vuoi fare un fine-tuning tuo, parti da Base.

Chi dovrebbe usarlo già adesso

Se il tuo lavoro è produrre in serie poster in cinese, infografiche per corsi, immagini lunghe per WeChat, menu, cartelli, e hai una GPU locale, vale la pena dedicargli un pomeriggio di prova. Queste richieste hanno una caratteristica comune: layout fisso, molto testo, bisogno di riproducibilità. È esattamente il suo punto di forza.

Se invece il tuo lavoro è ritoccare foto, cambiare sfondo, trasformare una foto esistente in un certo stile, lascia perdere. Non lo sa fare, o lo fa con più fatica degli strumenti che hai già.

Documentazione e pesi sono su HuggingFace e ModelScope, licenza Apache-2.0, quindi per l'uso commerciale non ci sono grandi preoccupazioni. Quello che va messo in chiaro prima è la VRAM e il processo: la modalità Sequential salva le schede piccole, ma trasforma «provare in fretta» in «mettiti il tè ad aspettare».