L'ultimo anello della pipeline H3 ora è open source

Nell'ultima settimana di ottobre su Hugging Face è comparso un set di pesi chiamato Open-H3-Regenerate-2K. Il nome è scomodo, la provenienza solidissima: il team Efficient-Large-Model, messo in piedi insieme da NVIDIA e MIT, con il codice di inferenza nel repository NVlabs/Sana.

Cosa fa si dice in una frase: prende una bozza video a bassa risoluzione e la rigenera in versione ad alta definizione. Supporta 2560×1440 e arriva fino a 3840×2160. A una condizione: che la bozza sia stata prodotta da H3 di MiniMax.

In Cina la notizia si è diffusa in modo diverso rispetto all'estero. Fuori si discute dell'ennesimo set di pesi aperti; su Bilibili si litiga su altro: come si mantiene la coerenza. A fine ottobre un tutorial ComfyUI che combinava Z-Image e Wan2.2 ha preso il punteggio più alto del giorno, e nei commenti si chiedeva solo se la faccia del personaggio cambia e se i piani si attaccano. La vera ansia non è il livello di qualità dell'immagine, ma se in un film la persona resta la stessa persona.

La pipeline H3 era rotta proprio nell'ultimo anello

MiniMax H3 ha aperto i pesi ad agosto. L'azienda divide il sistema in tre stadi: elaborazione del contesto multimodale, generazione audio-video di base, rigenerazione ad alta risoluzione. Sono aperti solo il primo e, dentro il secondo, H3-Base, che produce audio-video in 768P. Il terzo, H3-Regenerate-2K, quello che porta il 768P a 2K, è sempre stato disponibile solo via API.

La divisione del lavoro è sensata. Il modello generativo si occupa del cosa c'è, quello di rifinitura del quanto è nitido. Il problema è che, appena l'ultimo anello esiste solo come API, il flusso di lavoro del creator locale si blocca lì: con la GPU di casa arrivi a 768P, ma per avere una copia che regga uno schermo grande devi caricare il materiale, pagare a consumo e accettare la coda del server altrui.

Quello che NVIDIA e MIT hanno fatto è chiudere questo anello. Non hanno toccato il backbone di H3 né il VAE video, hanno congelato tutti i parametri e addestrato solo un livello LoRA di rifinitura aggiunto per l'occasione: più o meno un paio di occhiali messo al modello originale. In inferenza la LoRA viene fusa con adattatori già disponibili nella community, come FL2VA Turbo di LightX2V o LMS Sharp, poi si fanno solo tre passi di denoising per far ricrescere il dettaglio alla risoluzione target. Scena, composizione e traiettoria di movimento della bozza restano; viene sostituita solo la nitidezza.

Da dove esce il fattore 3,9

Quando la community open source fa restauro in alta definizione, la paura non è un risultato scarso, è una lentezza che lo rende inutilizzabile. Le condizioni pubblicate dal team: una singola B200, una clip da 5 secondi dopo il warm-up, sommando upscaling nello spazio latente, tre passi di rifinitura e decodifica 2K. L'implementazione non ottimizzata impiega 87.26 secondi, quella ottimizzata 22.45. Circa 3.9 volte.

La velocità arriva soprattutto da due punti. Uno è l'upscaler latente, fatto dalla community: ingrandisce direttamente la rappresentazione latente del video ed elimina il costo di decodificare e ricodificare più volte in alta risoluzione. L'altro è il decoder: passando a una decodifica VAE veloce, quel solo passaggio scende da circa 15 secondi a 1.6 secondi. In più si sommano l'attenzione sparsa di SoL-Engine e il calcolo a bassa precisione.

Il numero ha senso solo in uno scenario concreto. Per un corto da 30 secondi, contando sei segmenti da 5 secondi, 22 secondi a segmento fanno poco più di due minuti di rigenerazione, senza coda né ripetizioni dopo un errore. Prima questa procedura richiedeva un quarto d'ora buono, e nel frattempo non osavi nemmeno cambiare finestra. Adesso almeno puoi fare altro mentre gira.

Certo, la B200 non è una scheda per tutti. Su una GPU consumer lo stesso flusso richiede diverse volte il tempo. L'azienda non ha pubblicato dati su 4090 o 5090: bisogna provare.

Punteggio più alto dell'API ufficiale, ma i punti in più sono molto specifici

Il team ha confrontato su RefinerBench-150, input identici e output tutti in 2K. Su UniPercept, la valutazione della qualità percepita, questa versione open source fa 60.0 di media contro 53.4 dell'API ufficiale H3-Regenerate-2K. Una differenza di 6.6 punti.

Su VBench la conclusione è più interessante: qualità estetica, qualità dell'immagine e coerenza del soggetto vanno alla versione aperta; scorrevolezza del movimento e dinamicità vanno di poco all'API ufficiale. Tradotto: la versione aperta rende ogni fotogramma più bello e più stabile, al prezzo di un movimento corretto con una certa prudenza. Per talking head, presentazioni di prodotto o materiale documentaristico, dove domina la composizione statica, è un guadagno; per combattimenti, danza o movimenti di macchina rapidi può non convenire.

C'è un altro dato da notare: la coerenza del soggetto è più alta. Colpisce esattamente il punto che sta più a cuore alla community cinese. Dove la rigenerazione sbaglia più spesso è su volti e trame dei vestiti: a forza di correggere fotogramma per fotogramma, alla fine il protagonista è un'altra persona. I dati dicono che almeno sul gradino 2K la rifinitura aiuta a preservare l'identità.

La sua posizione: non un modello nuovo, una patch della pipeline

Per capirne il valore, meglio non guardarlo come un modello. È middleware.

Nell'ultimo anno il progresso della generazione video è avvenuto soprattutto su si può generare e quanto a lungo. Ora il rendimento marginale di entrambe le cose cala e il collo di bottiglia si è spostato più avanti: cosa fare dopo che la bozza esiste. La prassi del settore è produrre prima una bozza a bassa risoluzione con un metodo economico e rapido, verificare storyboard, ritmo e personaggi, poi mandare le inquadrature definitive alla messa in alta definizione. Quel passaggio, prima un'API a pagamento o un upscaling manuale, ora ha un'implementazione open source che ci si può installare da soli.

Per il creator indipendente significa una struttura di costi diversa: compri la scheda una volta, poi paghi l'elettricità. Per un team piccolo significa poter mettere la messa in alta definizione nel batch notturno e ritirare il materiale la mattina dopo. Per le piattaforme significa non pagare più un pedaggio a ogni rigenerazione.

Non è però un pranzo gratis. Servono i pesi di H3-Base, bisogna accettare il tetto di qualità di una bozza in 768P e avere VRAM sufficiente per la decodifica 2K. Se la bozza è già sbagliata nella composizione o nel personaggio, la rigenerazione renderà l'errore solo più nitido.

L'ecosistema corre già davanti al modello

Da quando H3 è stato aperto ad agosto: oltre 24 milioni di download in un mese, più di 300 modelli derivati pubblici, uno dei modelli più scaricati dell'anno. La toolchain intorno cresce in fretta: LightX2V ha pubblicato versioni Turbo distillate a quattro e otto passi, il fine-tuning comunitario Singularity è specializzato su movimento, volto e stile, FastVideo ha fatto un'anteprima FastH3 a quattro passi, Pika un H3 Flex a sei passi di campionamento, e ComfyUI e Unsloth hanno aggiunto adattamento e quantizzazione.

Anche il team NVIDIA-MIT non si è fermato: oltre a questo miglioramento video ha pubblicato StreamRender-H3, modello di rendering in streaming basato su H3 Ref2VA, e Sol-H3-VAE, decoder veloce distillato dal VAE video di H3.

Questo ritmo, modello di base aperto e moduli superiori completati uno alla volta da team esterni, è in realtà la prima volta che l'ecosistema video open source funziona così. Porta un effetto collaterale: il vantaggio relativo dell'API ufficiale si riduce. Quando in locale, con tre passi di denoising, ottieni un punteggio percettivo più alto, la ragione per pagare passa da si vede meglio a mi risparmia fatica.

Vale la pena provarlo?

Se già produci con H3, questo repository merita un clone e una run. Guarda due cose: la coerenza del soggetto del tuo materiale in 2K e se la tua scheda finisce la decodifica in un tempo accettabile. Se generi solo qualche clip ogni tanto, l'API ufficiale resta più comoda: i 22 secondi di rigenerazione, nel cloud, li aspetta qualcun altro per te.

La cosa davvero da guardare è la direzione. La generazione video sta passando da tutto in un colpo a un processo in due fasi, bozza e finitura, e la finitura ora ha un'opzione aperta. Nei prossimi sei mesi a decidere la produttività di un creator potrebbe non essere con quale modello genera, ma quanto è ben oliata la sua pipeline di post-produzione.