Il Project Live Set di Adobe monta la clip mentre va in riproduzione

La demo di Adobe MAX Sneaks dell'11 novembre mostra un gatto nero seduto su un pavimento. Sopra ci sono quattro prompt in pila: metti al gatto un cappello da chef, sostituisci il gatto con uno shiba inu, sostituiscilo con un alligatore in camicia stampa Miami, sostituiscilo con un cucciolo in smoking. La testina continua ad avanzare mentre le sostituzioni si risolvono. Niente viene renderizzato su file e restituito. Il fotogramma cambia mentre lo guardi.
Adobe la chiama Project Live Set. È un'anteprima di ricerca, non un prodotto, e l'azienda non ha descritto i modelli dietro né dato una data di uscita. Gautham Mysore, che guida il gruppo di ricerca video e audio di Adobe, ha inquadrato l'intento come il portare generazione e montaggio in un'esperienza continua, così che un creator veda un risultato, ci reagisca e orienti quello che succede dopo. L'ha anche definita uno strumento di schizzo per immagini in movimento, che è la descrizione più precisa offerta finora.
Cosa è cambiato nell'interfaccia
Il video generativo ha passato due anni come processo a lotti. Scrivi un prompt, aspetti, ottieni una clip, la guardi e scopri che il terzo secondo è sbagliato. Poi o rigeneri tutto sperando che le parti buone sopravvivano, oppure passi a un editor e provi a nascondere il tratto brutto con un taglio o una maschera.
Live Set inverte l'ordine. Si parte da una clip che esiste già e la si modifica mentre scorre. L'unità di lavoro smette di essere la generazione e diventa la posizione di riproduzione.

Sembra un dettaglio di interfaccia. Cambia quello che puoi valutare. Giudicare un'inquadratura generata significa vederla in movimento, con il suo ritmo, e la maggior parte degli strumenti attuali chiede di giudicarla da un fermo immagine o da un breve loop prima di impegnarsi in un render completo. Se la modifica avviene sulla timeline, il giudizio avviene dove l'errore è visibile.
La parte che esce: la generazione dentro Premiere
A fare i titoli è stata l'anteprima di ricerca. L'annuncio Creative Cloud del 10 novembre è la parte che si può usare questo mese.
Adobe ha messo Generate Video dentro la timeline di Premiere tramite uno strumento che chiama Generative Media. L'editor seleziona un vuoto e il sistema legge il montaggio circostante come contesto prima di generare b-roll per riempirlo. Quello che torna indietro finisce nella timeline e si può rifinire sul posto. La scelta del modello non è limitata a Firefly: il pannello offre anche modelli partner di Google, Kling, Runway e Luma.
Quest'ultima frase è la mossa strategica silenziosa. Adobe ha passato anni a posizionare Firefly come motivo per restare dentro Creative Cloud. Aprire la timeline ai modelli video dei concorrenti accetta una verità più semplice: l'editor vuole l'inquadratura che entra nel vuoto, da qualunque fornitore arrivi il modello.
Generative Remove è arrivato in beta insieme. Mascheri un oggetto indesiderato, lo tracci per tutta la clip e clicchi rimuovi. Gli esempi di Adobe sono un microfono a giraffa, un logo, una distrazione sullo sfondo. La promessa è che il riempimento sia realistico e il resto del fotogramma resti intatto. Lo promette ogni strumento di rimozione, ed è l'unica cosa che conta.
Gli aggiornamenti audio seguono la stessa logica di togliere passaggi di mano. Enhance Audio separa un mix in dialogo, musica, ambiente ed effetti, così ognuno si può bilanciare da solo. Separate Sound Source pulisce il dialogo rumoroso e lo scompone in componenti. Separate Crosstalk mette voci sovrapposte su tracce indipendenti. Color Mode, già presentato, ora è disponibile in generale.
Perché la timeline è il posto giusto
Un campo per i prompt non sa niente. Una timeline sa l'inquadratura prima, quella dopo, l'ottica, la color, il movimento di macchina e il fatto che l'attore tiene una tazza nella mano sinistra.
Ogni flusso di lavoro serio sul video generativo è stato costruito intorno a quel vuoto. Generi in una finestra di chat, scarichi, importi e poi passi l'ora successiva ad allineare il risultato a un girato di cui non gli hai mai parlato. La clip generata viene giudicata per sé e poi fallisce al contatto con la sequenza.
Mettere la generazione dove vive il contesto elimina un'intera categoria di errori, e il passaggio risparmiato è un effetto collaterale. È anche una promessa più piccola di "l'IA monta il tuo film". Lo strumento riempie un vuoto che hai definito tu. Resta una tua decisione che quel vuoto debba esistere.
Cosa deve ancora dimostrare Live Set
Tre cose, e Adobe non ha risposto pubblicamente a nessuna.
La prima è costo e latenza a risoluzione reale. La sostituzione in tempo reale su un'anteprima compressa è un problema di ingegneria diverso dalla sostituzione in tempo reale su un master 4K. Ogni demo di questo tipo sembra istantanea perché la demo è costruita per sembrare istantanea.
La seconda è la coerenza temporale. Sostituire un gatto con uno shiba inu in un'inquadratura fissa è il caso facile. Il caso difficile è un soggetto che si gira, passa dietro un altro oggetto e torna. La demo mostra quattro sostituzioni insieme, e quello è un saggio di portata, non di persistenza.
La terza è cosa succede al resto del fotogramma. Gli interventi generativi tendono a sbavare. Chiedi un cappello e cambia la luce sull'orecchio, oppure l'ombra sotto il gatto si sposta di due gradi. Lo strumento di rimozione che Adobe vende già promette che la zona intatta resti intatta, e quella promessa è verificabile in un modo in cui il sneak non lo è.
Sotto tutto questo c'è anche una questione di licenze. Premiere ora offre modelli video partner di quattro aziende, con quattro posizioni diverse sui dati di addestramento e quattro condizioni commerciali diverse. Un editor che sceglie un modello da un menu a tendina sta facendo una scelta legale, e niente in un menu a tendina lo comunica.
Lo schema delle uscite di novembre
Guarda cosa è uscito negli stessi dieci giorni. Krea ha aperto una beta di Bots, agenti che prendono in carico interi progetti creativi e tengono le regole di casa in memoria. ElevenLabs ha piegato il lip sync nel doppiaggio, così una versione in lingua straniera è un lavoro invece di due. Melius ha aperto Ditto, che scambia persone e oggetti dentro una clip finita. Google ha aggiunto cinque strumenti a Flow, uno dei quali trasforma una sola ripresa da telefono in diverse angolazioni mantenendo la performance.
Nessuno di questi è un modello nuovo. Ognuno cambia dove avviene il lavoro.
La corsa ai modelli degli ultimi due anni ha prodotto un effetto collaterale strano: la capacità è arrivata più in fretta dei posti dove metterla. Potevi generare un'inquadratura convincente di otto secondi e passare comunque un pomeriggio a inserirla in un montaggio. Il giro attuale di uscite riguarda la chiusura di quella distanza, e le aziende che la chiudono più in fretta sono quelle che possiedono già la superficie dove la decisione si prende.
Adobe possiede la timeline. È una posizione forte e scomoda, perché possedere la superficie significa che i modelli si possono affittare da chiunque, comprese le aziende che Adobe ha appena invitato nel proprio pannello.
Che cosa farne adesso
Live Set non è una cosa su cui pianificare. Le anteprime di Sneaks hanno una lunga storia di arrivare due anni dopo in forma più stretta, e Adobe ha esplicitamente rifiutato di impegnarsi.
Le funzioni di Premiere sono reali. Se monti video per mestiere, il test interessante di questo mese è se generare b-roll dentro il montaggio produce meno scarti che generarlo fuori. Se il b-roll sia bello è una domanda che si è risolta da sola un anno fa. La mia ipotesi è che il numero di take buttati scenda più di quanto salga la qualità di ogni take, e che tutta la ragione per mettere i modelli nelle timeline stia su quel divario.
Articoli correlati
Il consiglio si è costruito un comitato sull'export
In nove giorni il consiglio di Nvidia ha prodotto un'indagine, una presidenza e un comitato sull'export. Solo la trimestrale è finita in prima pagina.
Nvidia non ha mai costruito una seconda fila
Il problema di Nvidia non è lo scandalo, è la struttura: nessun presidente del consiglio fino alla settimana scorsa, nessun vice con mandato aziendale, nessuna successione.
Nvidia ha messo un prezzo al suo fondatore
In nove giorni Nvidia ha cambiato CEO e consiglio senza perdere un trimestre. Il mercato, intanto, ha dato un prezzo a quello che valeva un solo uomo.
Un foglio di calcolo comunitario di tocchi che spegne la pubblicità negli Android cinesi
Non tocca il sistema, non sblocca niente, non flasha niente. Ribalta solo gli interruttori che i produttori hanno già previsto. Il prezzo è una lista che qualcuno deve continuare a scrivere.