← Zurück zum Blog
Aica. 6 Min. Lesezeit

Setz deinen Schauspieler in eine fremde Einstellung, auf deiner eigenen GPU

Veröffentlicht 13. Nov. 2026
Setz deinen Schauspieler in eine fremde Einstellung, auf deiner eigenen GPU

Die Demo, die Openjutsu verkauft, ist simpel. Video rein, Foto einer Person rein, Generate drücken, und die Hauptfigur im Clip wird zur Person auf dem Foto.

Der Satz, auf den es ankommt, ist der nächste: Kamera, Schnitte, Bewegung und Tonspur bleiben.

Diese Einschränkung trennt einen Charaktertausch von einem Videogenerator. Man bittet kein Modell, sich eine Szene auszudenken. Man bittet es, eine bereits existierende Einstellung mit ihrem Timing und ihrem Ton zu behalten und die Person darin zu ersetzen. Das heißt, jedes schwierige Problem ist ein Konsistenzproblem, und jedes Konsistenzproblem ist ein Trackingproblem.

Drei Modelle, eine Pipeline

Openjutsu ist ein Next.js-Frontend über einem ComfyUI-Workflow, gebaut mit `@comfyorg/sdk` und angelehnt an Comfys eigene Referenz-App `comfy-reshoot`. Darunter erledigen drei offene Modelle drei verschiedene Aufgaben.

MiniMax H3 erzeugt das Video. SAM 3.1 verfolgt Personen und Objekte durch den Clip. Qwen3-VL 8B schaut sich Bilder und Videoframes an und schreibt die Beschreibungen, aus denen Prompts werden. Alles läuft mit offenen Gewichten auf der eigenen Hardware.

Die Trennung ist das Design. Ein einzelnes Modell, das man bittet, "diese Person zu ersetzen, aber alles andere zu lassen", zeichnet den Raum fröhlich neu. Teilt man die Arbeit, entscheidet der Tracker, was sich ändert, der Beschreiber entscheidet, wie die Änderung aussehen soll, und der Generator füllt nur die Region, die er bekommt.

drei identische graue Künstlermannequins nebeneinander, das rechte angemalt und bekleidet

Vier Modi, nach Ehrgeiz sortiert

Simple motion transfer ersetzt die eine Person, die den Großteil des Bildes füllt. Ein Charakter rein, ein Charakter raus, und die App fährt den Single-Swap-Workflow.

Advanced motion transfer verarbeitet ein bis vier Charaktere, jeder mit optionaler Rolle. Jede getrackte Person wird pro Shot einer Rolle zugeordnet, und Personen ohne zugewiesenen Charakter bleiben genau wie sie sind. Es gibt eine hochwertigere Variante, die pro Person einen Durchlauf macht, wenn man nur zwei Charaktere braucht.

Object swap ändert, was SAM verfolgt, nicht wen. Man kann eine Jacke, ein Auto oder eine Frisur durch das ersetzen, was man beschreibt oder auf einem Bild zeigt, sie ganz entfernen oder den Hintergrund drumherum ändern, während die Person stehen bleibt. Nur dieser Bereich wird neu generiert.

From picture ist der seltsamste und nützlichste Modus. FLUX nimmt den Charakter aus dem Foto und stellt ihn in die Körperhaltung des rohen Videoframes, wobei der Hintergrund des Charakterfotos erhalten bleibt. Man prüft oder regeneriert dieses Standbild und bestätigt es dann. Der visuelle Beschreiber schaut sich das Segment an und schreibt auf, was darin passiert, Aktionen, gehaltene Objekte, Mimik, und schreibt diese Beschreibung für das vorbereitete Bild um. Dann rendert man.

Es gibt außerdem einen Relight-Schalter, standardmäßig aus, der das Licht auf dem vorbereiteten Charakter im selben FLUX-Durchlauf ändert. Siebzehn Looks, jeder mit Beispielbild, oder man beschreibt seinen eigenen. Eine separate Option beleuchtet die Person im Video neu, ganz ohne Charakterfoto, was nützlich ist, wenn eine Einstellung nur zur Szene passen soll, in die sie geschnitten wurde.

Was der Betrieb kostet

Eine NVIDIA-GPU. Der Autor hat auf einer RTX 4060 Ti mit 16 GB VRAM und 64 GB System-RAM getestet, wobei die H3-int8-Modelle aus dem RAM gestreamt werden statt resident zu liegen. Das ist eine Consumer-Karte, keine gemietete H100, und es ist die ermutigendste Zahl im Repository.

ComfyUI 0.41.2 oder neuer, weil der Kern inzwischen MiniMax H3, SAM 3.1 und TextGenerate mitbringt. Darüber installiert man einen Stapel Custom Nodes: `comfyui-h3-oneclick-swap` für die Swap- und Objektpläne, Personen- und Rollenmasken, graue Mannequins, Track-Labeling, Cut-Finder, Shot-Liste und Face-Fix-Blöcke; `ComfyUI-MiniMaxH3-Context-Loop` für Clip-Looping und finale Montage; `ComfyUI-H3-FaceRefine` für Gesichts-Tracking, Cropping, SAM-Gesichtsmasken und Zurückkleben; dazu ControlNet aux, KJNodes, VideoHelperSuite, Impact Pack und ein paar kleinere.

Die Modelldateien sind genauso spezifisch: ein DMAD-Vier-Schritt-LoRA, der H3-Textencoder in int4, der Qwen3-VL-8B-Beschreiber in int8 und optional das SolarRenderer-Vier-Schritt-LoRA-Paar für den From-Picture-Pfad.

Unter Windows gibt es eine `start_openjutsu.bat`, die den Proxy startet, ihm Live-Fortschritt einpatcht, die App baut und die Seite öffnet. Die manuelle Einrichtung hat fünf Schritte und enthält einen wirklich obskuren Fix: `AIOHTTP_NOSENDFILE=1` setzen, bevor ComfyUI startet, sonst kann die erste Teil-Datei-Anfrage, die der Videoplayer in dem Moment schickt, in dem man spult, `/view` blockieren und jeden weiteren Download aufhängen, bis man neu startet.

Der Preflight-Check ist die gute Idee

Bevor ein Job hochlädt, gleicht Openjutsu den gewählten Workflow mit ComfyUIs registrierter Node-Liste und Modelldatei-Liste ab. Fehlende Packs erscheinen mit Installationslinks. Fehlende Modelldateien erscheinen mit ihrem Zielordner.

Das ist ein kleines Feature mit überproportionalem Wert. Die meisten ComfyUI-Workflows scheitern mit einem Stacktrace über eine Node-Klasse, von der niemand gehört hat. Dieser hier sagt dir, welches Repository du klonen musst und wohin die Datei gehört, bevor du zwanzig Minuten auf ein Rendering wartest, das nie starten würde.

Er sagt auch klar, was er nicht prüft: Python-Abhängigkeiten, Modellintegrität und verfügbaren VRAM. Das ist die ehrliche Grenze. Ein Preflight, der behauptet, VRAM zu prüfen, läge ohnehin in der Hälfte der Fälle falsch.

Wo es unangenehm wird

Charaktertausch hat einen offensichtlichen Missbrauchspfad, und das Repository tut nicht so, als wäre es anders. Die Technik ist ein Gesichts- und Körpertausch in vorhandenem Material, lokal laufend, mit offenen Gewichten, ohne Upload zu einem Dienst und ohne Wasserzeichen. Die legitimen Nutzungen sind umfangreich: Pickups, wenn ein Schauspieler nicht verfügbar ist, Previz mit einem Stand-in, Garderobenwechsel ohne Nachdreh, Lokalisierung mit einem anderen Darsteller. Die illegitimen sind eine Suche entfernt.

Die praktische Verteidigung ist dieselbe wie bei jedem lokalen Modell: Das Werkzeug ist nicht die Politik. Studios haben Release-Formulare und Chain-of-Custody-Regeln. Einzelpersonen haben nur das Recht ihrer Jurisdiktion, das an den meisten Orten Jahre hinter der Technik zurückliegt.

Es gibt außerdem einen technischen Vorbehalt, der für alle zählt, die echte Arbeit planen. Tracking scheitert. Verdeckung, schnelle Schnitte, Personen, die aus dem Bild gehen, zwei Personen in ähnlicher Kleidung, die sich überlappen: SAM 3.1 ist gut und nicht perfekt, und ein Swap auf einer schlechten Spur produziert genau das, was man erwartet, einen Charakter, der mitten im Shot vom Körper rutscht. Das Rollen-Matching pro Shot im Advanced-Modus existiert deswegen, und der Face-Fix-Durchlauf auch.

Warum es sich lohnt, auch ohne Installation

Die interessante Behauptung in Openjutsu ist architektonisch. Sie besagt, dass ein glaubwürdiger Charaktertausch ein Pipeline-Problem ist. Ein stärkeres Modell allein löst es nicht: tracken, was sich ändern soll, beschreiben, was es werden soll, nur diese Region generieren, dann Gesichter und Licht in separaten Durchläufen korrigieren.

Diese Zerlegung ist wiederverwendbar. Dasselbe Skelett passt auf Garderobenwechsel, Produktplatzierung, Hintergrundaustausch und Lokalisierung. Nichts davon braucht ein besseres Videomodell. Sie brauchen einen besseren Plan, welche Pixel sich bewegen dürfen.

Das Repository liefert die Pläne, die Manifeste, die Node-Liste und die Fehlermodi. Das ist mehr, als die meisten geschlossenen Produkte darüber verraten, wie der Trick funktioniert.

Verwandte Artikel