Sostituisci la persona nel video, poi rimetti la voce

Un repository chiamato Genjustsu è apparso il 6 ottobre con 1.454 stelle e una frase al posto del titolo: la tua scena, personaggi nuovi.
È una UI locale più un workflow ad agenti per sostituire il soggetto di un video. Depth colorata, maschere SAM 3 e Seedance Edit o Omni tramite Enhancor. Prima la bozza, approvazione prima del 1080p, e l'export finale ripristina l'intera traccia audio originale invece di qualsiasi cosa abbia generato il modello.
È quest'ultima clausola che vale la pena leggere due volte.
Che cosa fa davvero la pipeline
Il README elenca nove passi e sono insolitamente specifici, il che li rende verificabili invece che aspirazionali.
Salva la sorgente senza modifiche. Estrai l'audio e separa la voce dalla musica con Demucs su Replicate. Alza la voce isolata di tre semitoni, tenendo ferma la durata con Rubber Band. Normalizza il video di lavoro a 24 fps e a un massimo di 960 pixel. Ottieni depth colorata da `lucataco/depth-anything-video` e tieni i colori che restituisce. Esegui SAM 3 per produrre maschere PNG grezze su quella depth, poi controlla allineamento, copertura e sbavature sullo sfondo. Ricomponi il soggetto in depth sopra lo sfondo originale.
Poi il cancello. La maschera dell'intera clip va rivista a occhio, e l'approvazione è legata agli hash degli artefatti correnti. Se qualcosa a monte cambia, l'approvazione non vale più.
L'MP4 composto porta le voci alzate. Va a Seedance con riferimenti di personaggio e nessuna traccia audio separata, che è la parte che ha richiesto una decisione: dare a un modello video una voce pulita e isolata significa dargli qualcosa da imitare. Edit gestisce riferimenti immagine, Omni e multi-reference gestiscono un riferimento di identità video. Bozza per default. Polling, download, scarto dell'audio generato, reinserimento della colonna sonora originale completa. Quando sei soddisfatto, approvi il passaggio a 1080p e ripristini di nuovo la colonna sonora.
I tre semitoni
Lo spostamento di tono è il passo inspiegato più interessante, e il README non lo spiega.
La ragione probabile è un'inferenza e non un progetto dichiarato, quindi va trattata come tale: alzare la voce di tre semitoni mantenendo la durata produce una traccia che combacia con i movimenti della bocca senza consegnare la voce originale al suo tono originale. Il lip sync sopravvive perché la durata è tenuta. Quello che il modello sente è abbastanza vicino da essere plausibile e abbastanza lontano da non essere un campione pulito di voce.
Qualunque fosse l'intenzione, l'effetto sul file finito è inequivocabile. La colonna sonora originale rientra alla fine, completa. L'output tiene l'audio della sorgente e sostituisce l'immagine, il che inverte lo scambio abituale. La maggior parte degli strumenti video genera audio da abbinare a frame generati; questo tratta l'audio come invariante.
Quella scelta ha una forma giuridica oltre che tecnica. Una voce è di una persona, e il workflow è costruito perché il modello non la riceva mai pulita e l'export non usi mai un sostituto generato.
L'approvazione legata agli hash è il vero contributo
La revisione obbligatoria della maschera non è insolita. Insolito è che l'approvazione sia legata agli hash degli artefatti.
Leggi la conseguenza: un'approvazione non è uno stato d'animo, è una firma su uno specifico insieme di file. Cambia la maschera, cambia il passaggio di depth, cambia il composito, e la firma è nulla. La generazione non procede su un'approvazione scaduta.
Chiunque abbia gestito una pipeline di produzione con un passaggio di revisione umana conosce il guasto che questo previene. Il revisore approva la versione quattro. Arriva una correzione, si renderizza la versione cinque, e la cinque esce perché la coda è andata avanti. Il legame con gli hash chiude quel buco facendo riferimento ai byte invece che a un momento.
Altri due dettagli seguono la stessa logica. La bozza costa meno del finale, quindi l'approvazione avviene due volte, a 960 pixel e di nuovo a 1080p. E l'approvazione è legata agli artefatti invece che a un job id, il che significa che lo stesso job non può essere rieseguito con input nuovi sotto la vecchia firma.
Che cosa serve per farlo girare
Python 3.12 o successivo, Rubber Band CLI e cloudflared. Su macOS, `brew install rubberband cloudflared`. Su Ubuntu, Debian o WSL, `sudo apt install rubberband-cli python3-venv` più cloudflared. Poi:
bash setup.sh
Questo costruisce un virtualenv isolato, installa i requisiti, crea un `.env` vuoto e controlla le dipendenze. Tu inserisci la tua `ENHANCOR_API_KEY` e il tuo `REPLICATE_API_TOKEN`. Poi `./start.command` apre la UI su `127.0.0.1:8770`, e `doctor.py --require-keys` ti dice cosa manca ancora.
La dipendenza da cloudflared non è decorativa. Enhancor richiede un URL di webhook, quindi il launcher avvia un Quick Tunnel di sola callback quando non ne hai configurato uno tuo. La UI e i media restano su localhost; il tunnel esiste solo per ricevere la callback. A chi usa Windows nativo viene detto di passare a WSL2.
Non servono pesi di modelli locali né GPU per la configurazione ospitata predefinita. È la decisione architetturale principale: il lavoro pesante è l'API di qualcun altro, e il repository è l'orchestrazione, i cancelli di revisione e la chirurgia sull'audio.
C'è anche un percorso ad agenti. Apri la cartella in un agente di coding, puntalo su `docs/SETUP-AGENT.md` e su `.agents/skills/tein-video-workflow/SKILL.md`, e rileverà il sistema operativo, installerà i prerequisiti, costruirà l'ambiente, eseguirà i test locali, avvierà l'app e verificherà che sia pronta. Il README include un prompt pronto per questo, e finisce con un'istruzione da notare: non inviare generazioni a pagamento.
L'imbuto si vede, e va bene
Il repository è MIT. Rimanda anche a una lista d'attesa TEIN AI nel banner e a una pagina API di Enhancor descritta come la più economica del mercato. Il workflow esiste nella forma che ha anche perché la pipeline ha bisogno di un modello ospitato per la sostituzione del soggetto, e l'autore vende l'accesso a uno.
Per chi legge, questo cambia cosa sia il progetto. Non puoi eseguirlo interamente offline, quindi quello che ottieni è un'implementazione di riferimento ben documentata di un workflow intorno a un'API a pagamento. La qualità della documentazione è la ragione per leggerla, che tu compri l'API o no.
La parte che si trasferisce è la sequenza: proteggi la sorgente, isola l'audio, spezza il legame con l'identità prima della generazione, metti un cancello umano sulla maschera, lega l'approvazione ai file, genera due volte, ripristina la colonna sonora originale. Niente di questo è specifico di Seedance o di Enhancor.
Dove si arriva
La sostituzione del soggetto nel video è tecnicamente possibile da un po'. Quello che mancava è una forma di produzione che un brand o uno studio possano difendere in revisione: una sorgente intatta, un'approvazione con un hash, una voce invariata.
Il repository è un piccolo progetto open source con una coda commerciale, e probabilmente sarà letto soprattutto da persone che non lo eseguiranno mai. I nove passi meritano comunque la lettura, perché descrivono come appare un montaggio video responsabile quando il modello è un componente tra molti e non il prodotto.
Articoli correlati
Un foglio di calcolo comunitario di tocchi che spegne la pubblicità negli Android cinesi
Non tocca il sistema, non sblocca niente, non flasha niente. Ribalta solo gli interruttori che i produttori hanno già previsto. Il prezzo è una lista che qualcuno deve continuare a scrivere.
GPT Image 2.6 ha tenuto il prezzo dei token e alzato la fattura
GPT Image 2.6 conserva ogni tariffa per token di 2.5 e costa comunque di più per immagine, perché buona parte del lavoro passa ora nei token di output. Undici giorni dopo il lancio, la struttura dei prezzi dice più della classifica.
Qualcuno ha ricostruito IDM dall'esterno e ha scritto cosa non ha toccato
Una reimplementazione in Rust di Internet Download Manager promette 5 volte la velocità e 86 lingue. Il documento più interessante è il paragrafo che spiega come è stata costruita senza copiare nulla.
Rune è un framework UI per Rust costruito perché un agente possa verificare il proprio lavoro
Rune renderizza headless, esporta il suo albero di elementi e accetta input scriptato, dando a un agente di coding un segnale diffabile che nessuno screenshot può offrire. Il framework è in pre-release e non accetta pull request.