ComfyUI ora scrive ProRes 4444. Il punto è il canale alpha

ComfyUI v0.44.0 è uscito il 4 novembre. Tra le modifiche c’era una pull request numero 17463 che aggiungeva l’output ProRes. La riga di changelog è di circa tre righe. È la cosa più rilevante del rilascio e probabilmente la meno interessante da leggere.
Ecco perché. Fino a oggi, se generavi una clip in ComfyUI e la volevi in montaggio, la strada era H.264. Renderizzavi un MP4, lo importavi e convivevi con le conseguenze: colore a 8 bit, croma 4:2:0 e un codec progettato per la distribuzione, non per l’elaborazione successiva. Ogni generazione che consegnavi era già degradata prima che il montatore la toccasse. Fai una color una volta e il banding compare nel cielo.
ProRes è un codec intermedio. Esiste per essere montato, non per essere distribuito. La differenza in una pipeline di post è più o meno la differenza tra consegnare a qualcuno un JPEG e consegnargli un file raw.
Come si usa
Due modi, entrambi semplici.
In Save Video, scegli mov come container. Così scrivi ProRes.
In Create Video c’è una nuova impostazione chiamata chroma_subsampling. Mettila a 444 e ottieni ProRes 4444. Mettila a 422 e ottieni ProRes 422 HQ. Quella mappatura viene dal codice, quindi trattala come la fonte di verità invece dell’etichetta in un menu.
I test del rilascio scrivono e rileggono ProRes 4444 con un canale alpha trasparente, che è la parte che conta di più e quella appena citata nel messaggio di commit.
Una trappola, anche questa dal codice: se chiedi 12 bit, ottieni 10 bit e un avviso in console. ProRes 4444 supporta i 12 bit, ma questa implementazione no, almeno non ancora. Se ti servono i 12 bit per una color, finirai altrove.
E una nota sull’encoder. Questo usa prores_ks di FFmpeg, non l’encoder ProRes di Apple. prores_ks è buono, molto usato e decodifica pulito in Premiere e Resolve. Non è nemmeno identico byte per byte a quello che scrive Final Cut, il che conta solo se la tua pipeline ha un passo di validazione che confronta l’output dell’encoder. I file sono grandi in ogni caso.
Perché l’alpha cambia il flusso di lavoro
Un canale alpha trasparente in una clip generata significa che la clip è un livello, non una lastra.
Quella distinzione determina se il girato AI può essere compositato in una pipeline normale. Senza alpha, o metti la clip generata su un frame intero e tagli intorno, o la scontorni a mano con il rotoscope, o la giri su green e la keyi, il che annulla lo scopo visto che hai generato anche lo sfondo.
Con l’alpha, un personaggio generato può stare sopra una ripresa reale. Un render di prodotto generato può essere appoggiato su un tavolo fotografato. Un elemento di fumo generato può essere stratificato su una lastra al trenta per cento di opacità. Sono cose del tutto ordinarie in un flusso di compositing e del tutto impossibili quando il tuo unico output è un MP4 opaco.
Il problema è che il modello deve produrre l’alpha, e quasi nessun modello video lo fa. Generano frame RGB perché sono stati addestrati su girato, e il girato non ha alpha. Quindi il formato di output appena supportato è avanti rispetto ai modelli che lo userebbero. Va bene ed è normale. Il supporto del formato è un prerequisito, e ora c’è.
Per chi lavora con modelli che producono davvero matte, o con pipeline di immagini che generano cutout e poi li animano, ProRes 4444 è il container che rende il round trip senza perdite. Generi, salvi con l’alpha, lo metti in Resolve, e il bordo è pulito perché niente è stato sottocampionato nel passaggio.
La deviazione H.264, spiegata
Se non hai mai lavorato in post, la faccenda dell’H.264 sembra un piccolo disagio. Non lo è, e la ragione merita due paragrafi.
L’H.264 nella sua forma comune è 8 bit, 4:2:0. Significa che ogni pixel ha 256 livelli per canale e che l’informazione di colore è memorizzata a un quarto della risoluzione di quella di luminanza. È un insieme geniale di compromessi per trasmettere un video a un telefono. È una base pessima per ulteriori elaborazioni, perché ogni operazione che fa un montatore, da una curva a un key, amplifica l’errore di quantizzazione già incorporato.
ProRes 422 HQ è 10 bit 4:2:2. ProRes 4444 è 10 o 12 bit con risoluzione di colore piena e, cosa cruciale, un canale alpha. I file sono da cinque a dieci volte più grandi. È tutto qui lo scambio.
In una pipeline normale quel sovraccarico è accettato, ed è per questo che le camere girano in ProRes o raw e che i montatori transcodificano proxy per velocità ma tornano sempre alla sorgente ad alto bitrate. Il codec intermedio è la cosa che sopravvive al montaggio.
La generazione AI ha rotto quell’assunzione perché gli strumenti vivevano fuori dalla suite di montaggio. Generavi in un browser o in uno script Python, ottenevi un MP4, e la pipeline si adattava al limite trattando il girato generato come girato finito invece che come sorgente. Funzionava finché le inquadrature AI erano inserti. Smette di funzionare nel momento in cui un’inquadratura generata ha bisogno di una color, di un key o di una fusione.
Cosa questo non risolve
Il supporto dei codec non è la gestione del colore. Scrivere ProRes non dice all’applicazione che riceve se il girato è Rec.709 o sRGB o qualcos’altro senza tag. Se la clip generata appare diversa in Resolve da com’era in ComfyUI, il codec non è il problema.
Non risolve nemmeno la coerenza temporale, la risoluzione o il movimento. Una clip a 720p con dettagli che sfarfallano resta una clip a 720p con dettagli che sfarfallano, ora in un file più grande. ProRes preserva gli artefatti fedelmente. È il suo lavoro.
E il divario dei 12 bit è reale per chi fa color pesante o estrazioni VFX. Dieci bit bastano per gran parte della distribuzione, e non bastano per un’inquadratura hero che sarà spinta di due stop.
Il punto più grande
La cosa interessante di questo cambiamento è che è noioso.
Per due anni la conversazione sul video AI è stata sulla qualità dei modelli: chi ha il movimento migliore, chi gestisce le mani, chi mantiene coerente il personaggio. Quella conversazione è reale e non è finita. Ma la conversazione sul flusso di lavoro è dove l’adozione accade davvero, ed è fatta esattamente di cambiamenti così. Un codec. Un flag di chroma subsampling. Un canale alpha che sopravvive a un round trip.
Nessuno scrive un thread su un formato container. Tutti quelli che hanno passato un pomeriggio a transcodificare MP4 generati prima che un montatore li accettasse hanno notato questo.
ComfyUI non pretende di essere uno strumento professionale, ed è dove un numero molto grande di persone costruisce davvero pipeline di video AI, e un node graph è un posto sorprendentemente onesto per vedere di cosa ha bisogno una pipeline. Quando il grafo inizia a scrivere ProRes con alpha, significa che chi lo usa è passato dal fare clip al fare inquadrature. È la transizione che conta, e non compare in un benchmark.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria
Quattro generatori del mondo da 16 miliardi con le ricette di training, e un framework di decoding che emette geometria in un colpo. La valutazione manca.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.