← Torna al blog
Aicirca 6 min di lettura

Metti il tuo attore nell'inquadratura di qualcun altro, sulla tua GPU

Pubblicato 13 nov 2026
Metti il tuo attore nell'inquadratura di qualcun altro, sulla tua GPU

La demo che vende Openjutsu è semplice. Carichi un video, carichi la foto di una persona, premi Generate, e il soggetto principale del clip diventa la persona nella foto.

La frase che conta è la successiva: la camera, i tagli, il movimento e la colonna sonora restano.

Questo vincolo separa un character swap da un generatore di video. Non stai chiedendo a un modello di immaginare una scena. Gli stai chiedendo di tenere un'inquadratura che esiste già, con il suo ritmo e il suo suono, e di sostituire la persona che ci sta dentro. Il che significa che ogni problema difficile è un problema di coerenza, e ogni problema di coerenza è un problema di tracciamento.

Tre modelli, una pipeline

Openjutsu è un frontend Next.js sopra un workflow ComfyUI, costruito con `@comfyorg/sdk` e modellato sull'app di riferimento `comfy-reshoot` di Comfy. Sotto, tre modelli aperti fanno tre lavori diversi.

MiniMax H3 genera il video. SAM 3.1 traccia persone e oggetti lungo il clip. Qwen3-VL 8B guarda immagini e frame e scrive le descrizioni che poi diventano prompt. Tutto gira con pesi aperti sul tuo hardware.

La separazione è il progetto. Un modello unico a cui chiedi di "sostituire questa persona ma lasciare tutto il resto" ridisegnerà volentieri la stanza. Dividendo il lavoro, il tracker decide cosa cambia, il descrittore decide che aspetto deve avere il cambiamento, e il generatore riempie solo la regione che gli viene passata.

tre manichini da artista grigi identici in fila, quello a destra dipinto e vestito

Quattro modalità, in ordine di ambizione

Il trasferimento di movimento semplice sostituisce la persona che occupa gran parte dell'inquadratura. Un personaggio entra, un personaggio esce, e l'app esegue il workflow di swap singolo.

Il trasferimento di movimento avanzato gestisce da uno a quattro personaggi, ognuno con un ruolo opzionale. Ogni persona tracciata viene abbinata a un ruolo per inquadratura, e chi non ha un personaggio assegnato resta esattamente com'è. C'è una variante di qualità superiore che fa una passata per persona quando servono solo due personaggi.

L'object swap cambia cosa traccia SAM, non chi traccia. Puoi sostituire una giacca, un'auto o una chioma con ciò che descrivi o mostri in una foto, rimuoverla del tutto, o cambiare lo sfondo intorno mentre la persona resta ferma. Solo quell'area viene rigenerata.

From picture è la modalità più strana e più utile. FLUX prende il personaggio dalla tua foto e lo mette nella postura del frame grezzo del video, mantenendo lo sfondo della foto del personaggio. Rivedi o rigeneri quel fermo immagine, poi confermi. Il descrittore visivo guarda il segmento e scrive cosa succede, azioni, oggetti tenuti in mano, espressioni, e riscrive quella descrizione per l'immagine preparata. Poi renderizzi.

C'è anche un interruttore Relight, spento di default, che cambia la luce sul personaggio preparato nella stessa passata FLUX. Diciassette look, ognuno con un'immagine di esempio, oppure descrivi il tuo. Un'opzione separata riillumina la persona originale del video senza alcuna foto del personaggio, utile quando serve solo che un'inquadratura si accordi alla scena in cui è stata montata.

Quanto costa farlo girare

Una GPU NVIDIA. L'autore ha testato su una RTX 4060 Ti con 16 GB di VRAM e 64 GB di RAM di sistema, con i modelli H3 int8 in streaming dalla RAM invece che residenti. È una scheda consumer, non una H100 affittata, ed è il numero più incoraggiante del repository.

ComfyUI 0.41.2 o superiore, perché il core ora include MiniMax H3, SAM 3.1 e TextGenerate. Sopra ci installi una pila di nodi custom: `comfyui-h3-oneclick-swap` per i piani di swap e di oggetto, maschere di persone e ruoli, manichini grigi, etichettatura delle tracce, ricerca dei tagli, lista delle inquadrature e blocchi di correzione del viso; `ComfyUI-MiniMaxH3-Context-Loop` per il looping dei clip e l'assemblaggio finale; `ComfyUI-H3-FaceRefine` per tracciamento del viso, ritaglio, maschere facciali SAM e reincollaggio; più ControlNet aux, KJNodes, VideoHelperSuite, Impact Pack e un paio di altri minori.

I file dei modelli sono altrettanto specifici: un LoRA DMAD a quattro passi, l'encoder testuale di H3 in int4, il descrittore Qwen3-VL 8B in int8, e opzionalmente la coppia di LoRA SolarRenderer a quattro passi per il percorso from picture.

Su Windows c'è uno `start_openjutsu.bat` che avvia il proxy, gli applica il progresso live, costruisce l'app e apre la pagina. L'installazione manuale è in cinque passi e include una correzione davvero oscura: imposta `AIOHTTP_NOSENDFILE=1` prima di avviare ComfyUI, altrimenti la prima richiesta di file parziale, quella che il player manda nel momento in cui scorri, può bloccare `/view` e impantanare ogni download successivo finché non riavvii.

Il preflight è la buona idea

Prima che un job venga caricato, Openjutsu confronta il workflow scelto con la lista dei nodi registrati e la lista dei file di modello di ComfyUI. I pacchetti mancanti compaiono con i link di installazione. I file di modello mancanti compaiono con la loro cartella di destinazione.

È una funzione piccola con un valore sproporzionato. La maggior parte dei workflow ComfyUI fallisce con uno stack trace su una classe di nodo di cui nessuno ha sentito parlare. Questo ti dice quale repository clonare e dove va il file, prima che tu passi venti minuti ad aspettare un render che non sarebbe mai partito.

Dice anche chiaramente cosa non controlla: dipendenze Python, integrità dei modelli e VRAM disponibile. È il confine onesto. Un preflight che sostenesse di controllare la VRAM sbaglierebbe comunque metà delle volte.

Dove la cosa diventa scomoda

Il character swap ha una via di abuso evidente, e il repository non finge il contrario. La tecnologia è una sostituzione di volto e corpo su materiale esistente, in locale, con pesi aperti, senza upload verso un servizio e senza watermark. Gli usi legittimi sono ampi: pickup quando un attore non è disponibile, previz con una controfigura, cambi di guardaroba senza rigirare, localizzazione con un altro interprete. Gli usi illegittimi sono a una ricerca di distanza.

La difesa pratica è la stessa che vale per ogni modello locale: lo strumento non è la policy. Gli studio hanno liberatorie e regole di catena di custodia. I privati hanno solo la legge della propria giurisdizione, che in molti posti è indietro di diversi anni rispetto alla tecnologia.

C'è anche un avvertimento tecnico che conta per chi pianifica lavoro vero. Il tracciamento fallisce. Occlusione, tagli rapidi, persone che escono dall'inquadratura, due persone che si sovrappongono con vestiti simili: SAM 3.1 è buono e non è perfetto, e uno swap costruito su una traccia sbagliata produce esattamente quello che ti aspetti, un personaggio che scivola via da un corpo a metà inquadratura. L'abbinamento dei ruoli per inquadratura della modalità avanzata esiste per questo, e anche la passata di correzione del viso.

Perché vale la pena leggerlo anche se non lo installerai mai

L'affermazione interessante di Openjutsu è architettonica. Dice che una sostituzione di personaggio credibile è un problema di pipeline. Un modello più forte da solo non lo risolve: traccia ciò che deve cambiare, descrivi cosa deve diventare, genera solo quella regione, poi correggi volti e luce in passate separate.

Quella decomposizione è riutilizzabile. Lo stesso scheletro vale per cambi di guardaroba, product placement, sostituzione dello sfondo e localizzazione. Nessuno di questi casi ha bisogno di un modello video migliore. Hanno bisogno di un piano migliore su quali pixel possono muoversi.

Il repository consegna i piani, i manifest, la lista dei nodi e le modalità di fallimento. È più di quanto la maggior parte dei prodotti chiusi ti dirà su come funziona il trucco.

Articoli correlati