Pika H3 Flex: sei passi, e l'audio arriva insieme al video

Cinquanta passi di denoising sono un numero di cui nessuno fuori dal settore dovrebbe doversi preoccupare. È anche, in silenzio, il numero che decide se un modello video è una demo o uno strumento.

La nuova release di Pika è costruita su quel numero. Pika H3 Flex prende il modello H3 di MiniMax, lo mette a punto, distilla i 50 passi dell'insegnante fino a 6 con la projection distribution matching distillation, e poi regala i pesi dell'adapter e il codice di inferenza. Sei passi, e immagine e suono escono insieme.

L'ultima parte merita enfasi. Quasi tutti i modelli «audio-video» generano una clip e poi una colonna sonora che le somiglia vagamente. La generazione congiunta significa che l'audio viene denoisato nello stesso ciclo dei fotogrammi, così lo sbattere di una porta e il sussulto sono lo stesso evento, non due cose che per caso coincidono.

Cosa è davvero aperto

Due adattatori LoRA. Uno gestisce il condizionamento testuale e da primo/ultimo fotogramma; l'altro gestisce l'input multimodale di riferimento. Accanto a loro Pika ha pubblicato i componenti base di MiniMax H3 e gli strumenti di inferenza locale, più un workflow ComfyUI e un percorso Hugging Face Diffusers.

L'output nativo è 480P o 768P, da cinque a quindici secondi, con audio stereo sincronizzato. Sembra modesto finché non guardi cosa aggiunge l'API: enhancement a 1080P, 2K e 4K, e separazione delle stem audio che divide la colonna sonora generata in cinque tracce, dialogo, musica, effetti sonori, foley e ambienti.

La separazione in stem è la funzione per cui pagherei davvero. Chi ha provato a usare video generati in un montaggio reale conosce il problema: l'audio è un blocco inseparabile. Non puoi abbassare la musica sotto una voce fuori campo, non puoi sostituire il dialogo con un'altra lingua, non puoi togliere l'ambiente perché sta litigando con il room tone dell'inquadratura dopo. Cinque stem trasformano una clip generata in girato.

Il flusso di lavoro che ne deriva è ovvio: genera a bassa risoluzione, scegli la take che ti piace, poi fai l'enhancement. Bozza economica, finitura costosa. È come funziona già ogni altro pezzo della filiera cinematografica, ed è bello vedere un fornitore di modelli ammetterlo invece di fingere che ogni generazione debba essere un render finale.

I numeri di velocità, nel contesto

Pika ha pubblicato anche i risultati dell'ottimizzazione per l'inferenza ospitata. Su 8 GPU NVIDIA B300, con pesi e campionatore a sei passi invariati, generare una clip di cinque secondi a 768P con audio è passato da 3,409 secondi a 2,129 secondi tra condizionamento, denoising e decoding. Circa 1,6x.

Un guadagno ingegneristico di 1,6x non è un titolo. È però il tipo di numero che decide l'economia unitaria quando fai girare milioni di bozze, ed è rinfrescante che abbiano pubblicato prima e dopo invece di una percentuale contro una base non dichiarata.

Le affermazioni sulla qualità sono meno verificabili. Pika dice che H3 Flex ha ottenuto il punteggio più alto su cinque metriche di qualità visiva e audio tra i modelli confrontati, e che è ottavo nella classifica text-to-video di DesignArena, il modello video aperto meglio piazzato lì. I confronti fatti dal fornitore sono confronti fatti dal fornitore. La posizione su DesignArena è il segnale più utile, perché è votata alla cieca da sconosciuti a cui non importa della tua architettura.

Scrivere prompt per un modello che si ascolta

L'audio-video congiunto cambia la strategia di prompting in un modo che non è ovvio finché non lo provi. Se descrivi solo l'immagine, il modello si inventa un paesaggio sonoro che ci somigli, e di solito sceglie qualcosa di generico: room tone, una sirena lontana, un ronzio non meglio specificato.

Quindi scrivi il suono in modo esplicito. Nomina la fonte di ogni rumore che vuoi e, cosa più importante, nomina ciò che deve restare silenzioso. «Una sola porta si chiude al secondo due, niente musica, niente uccelli» produce qualcosa di usabile. «Una scena tesa in un portoncino» produce un'approssimazione da audio di libreria della tensione, che è peggio del silenzio.

Per il dialogo, tieni le battute corte e mettile all'inizio. Il modello ha da cinque a quindici secondi, e una frase che ne occupa nove non lascia spazio al campo di reazione che volevi davvero. Se una battuta conta più delle immagini, generala come take separata e montala dentro.

E tratta la prima generazione come un test audio, non visivo. Una clip con luce mediocre e foley perfetto è più utile di un'inquadratura bellissima dove i passi arrivano mezzo secondo in ritardo.

Perché H3 sta diventando uno strato di base

Due giorni prima della release di Pika, un team di NVIDIA e MIT ha pubblicato Open-H3-Regenerate-2K, un'implementazione aperta per rigenerare bozze a bassa risoluzione in 2K, con rigenerazione nativa a 4K e un speedup dichiarato di 3,9x su una singola B200 dopo il warm-up.

Due gruppi indipendenti, una settimana, entrambi sullo stesso modello base cinese, in direzioni opposte: uno comprime il ciclo di campionamento, l'altro aggiunge risoluzione. Ecco com'è fatto uno strato di base. Nessuno discute su chi vince con il modello fondazionale; discutono su chi possiede lo strato sopra.

Per chi crea, la conseguenza pratica è che la domanda «quale modello» diventa sempre meno interessante. Se la base aperta forte è condivisa, la differenziazione si sposta su adattatori, workflow e su ciò che l'API aggiunge sopra, che in questo caso sono risoluzione e stem.

Cosa resta difficile

Da cinque a quindici secondi è poco. Basta per un'inquadratura, non per una scena. Ogni modello di questa classe fatica ancora sulle stesse tre cose: mani che fanno un lavoro di fino, testo sulle superfici e continuità attraverso uno stacco. Niente in questa release sostiene il contrario, e lo apprezzo.

Il 768P nativo è anche un vincolo reale se consegni per qualcosa più grande di uno schermo di telefono. Il percorso 2K e 4K esiste, ma passa dall'API di Pika, il che significa che i pesi aperti ti danno la bozza e il servizio a pagamento ti dà la finitura. È un modello di business, non un tradimento, ma vuol dire che «aperto» qui significa «aperto quanto basta per valutarlo e costruirci sopra».

E la distillazione a sei passi ha un costo facile da perdere. Meno passi significa meno spazio per il campionatore di esplorare. I modelli distillati tendono a essere eccellenti nella distribuzione su cui sono stati distillati e un po' fragili fuori: formati insoliti, vincoli di prompt densi, input di riferimento non proprio in distribuzione. Se il tuo lavoro è convenzionale non te ne accorgerai mai. Se è strano, sì.

Come provarlo

Se hai ComfyUI in funzione, il file di workflow è la via più rapida: caricalo, puntalo sugli adattatori, genera a 768P, ascolta l'audio. Giudica prima la sincronizzazione, non l'immagine. Il movimento delle labbra e i suoni d'impatto sono il punto in cui la generazione congiunta o funziona o non funziona.

Se sei su Diffusers, la pipeline è convenzionale e gli adattatori si fondono nella base, quindi non paghi passi extra in inferenza. Aspettati che un'immagine di riferimento allunghi più o meno il tempo di generazione, dato che i suoi token entrano nella stessa sequenza del testo e del target.

Poi prendi una clip che ti piace davvero e passala dall'API per le stem. È il momento in cui lo strumento smette di essere un giocattolo. Poter zittire la musica, tenere il foley e infilare una traccia voce diversa è la differenza tra «questo l'ha fatto l'AI» e «questo lo posso usare».

L'argomento tranquillo di questa release

Per due anni il discorso è stato modelli più grandi. Qui Pika propone un ciclo di campionamento più piccolo, adattatori aperti e una superficie di post-produzione che rispetta come funziona davvero il montaggio.

È una storia meno eccitante, ed è quella che tende a sopravvivere al contatto con una scadenza. Sei passi non è un numero di marketing. È l'affermazione che il collo di bottiglia si è spostato da «riesce a generare» a «posso permettermi di iterare», e qualcuno finalmente ha dato un prezzo alla risposta.