Die Person im Video ersetzen, dann die Stimme zurückholen

Ein Repository namens Genjustsu erschien am 6. Oktober mit 1.454 Sternen und einem Satz als Titel: deine Szene, neue Figuren.
Es ist eine lokale Oberfläche plus ein Agent-Workflow, um das Motiv eines Videos auszutauschen. Farbige Tiefe, SAM-3-Masken und Seedance Edit oder Omni über Enhancor. Erst der Entwurf, Freigabe vor 1080p, und der finale Export stellt den vollständigen Originalton wieder her statt irgendetwas vom Modell Erzeugtes.
Diese letzte Klausel sollte man zweimal lesen.
Was die Pipeline tatsächlich macht
Das README listet neun Schritte, und sie sind ungewöhnlich konkret, was sie prüfbar macht statt nur gut gemeint.
Die Quelle unverändert sichern. Audio extrahieren und Stimme von Musik mit Demucs auf Replicate trennen. Die isolierte Stimme um drei Halbtöne anheben und die Dauer mit Rubber Band konstant halten. Das Arbeitsvideo auf 24 fps und höchstens 960 Pixel normalisieren. Farbige Tiefe von `lucataco/depth-anything-video` holen und die zurückgegebenen Farben behalten. SAM 3 laufen lassen, um rohe PNG-Masken über dieser Tiefe zu erzeugen, dann Ausrichtung, Abdeckung und Übergriff auf den Hintergrund prüfen. Das Tiefenmotiv wieder über den Originalhintergrund setzen.
Dann das Gate. Die Maske des gesamten Clips muss visuell geprüft werden, und die Freigabe ist an Hashes der aktuellen Artefakte gebunden. Ändert sich irgendetwas vorgelagert, gilt die Freigabe nicht mehr.
Das Composite-MP4 trägt die erhöhte Stimme. Es geht an Seedance mit Figurenreferenzen und ohne separate Tonspur – der Teil, der eine Entscheidung verlangte, denn einem Videomodell eine saubere, isolierte Stimme zu geben heißt, ihm etwas zum Nachahmen zu geben. Edit verarbeitet Bildreferenzen, Omni und Mehrfachreferenzen eine Video-Identitätsreferenz. Standard ist der Entwurf. Abfragen, herunterladen, das generierte Audio verwerfen, den vollständigen Originalton wieder einsetzen. Wenn es passt, den 1080p-Durchgang freigeben und den Ton erneut wiederherstellen.
Die drei Halbtöne
Die Tonhöhenverschiebung ist der interessanteste unerklärte Schritt, und das README erklärt ihn nicht.
Der wahrscheinliche Grund ist eine Inferenz und kein erklärter Entwurf, also sollte man ihn so behandeln: Die Stimme um drei Halbtöne zu heben und dabei die Dauer zu halten, ergibt eine Tonspur, die zu den Mundbewegungen passt, ohne die Originalstimme in ihrer Originaltonhöhe herauszugeben. Lip-Sync überlebt, weil die Dauer gehalten wird. Was das Modell hört, ist nah genug, um plausibel zu sein, und weit genug weg, um keine saubere Stimmprobe zu sein.
Wie die Absicht auch sei, die Wirkung auf die fertige Datei ist eindeutig. Der Originalton kommt am Ende vollständig zurück. Die Ausgabe behält das Quellaudio und ersetzt das Bild – die Umkehrung des üblichen Tauschs. Die meisten Videowerkzeuge erzeugen Audio zu generierten Frames; dieses behandelt Audio als Invariante.
Diese Wahl hat eine rechtliche wie eine technische Form. Eine Stimme gehört einer Person, und der Workflow ist so gebaut, dass das Modell sie nie sauber erhält und der Export nie einen generierten Ersatz verwendet.
Hash-gebundene Freigabe ist der eigentliche Beitrag
Die verpflichtende Maskenprüfung ist nicht ungewöhnlich. Ungewöhnlich ist, dass die Freigabe an Artefakt-Hashes gebunden ist.
Die Konsequenz: Eine Freigabe ist kein Gemütszustand, sondern eine Signatur über eine bestimmte Dateimenge. Ändere die Maske, ändere den Tiefendurchgang, ändere das Composite – und die Signatur ist ungültig. Die Generierung läuft nicht auf einer veralteten Freigabe weiter.
Wer je eine Produktionspipeline mit menschlichem Review-Schritt betrieben hat, kennt den Fehler, den das verhindert. Die Prüferin gibt Version vier frei. Ein Fix kommt dazu, Version fünf wird gerendert, und Version fünf geht raus, weil die Warteschlange weiterlief. Die Hash-Bindung schließt diese Lücke, indem „freigegeben“ sich auf Bytes bezieht statt auf einen Moment.
Zwei weitere Details folgen derselben Logik. Der Entwurf kostet weniger als das Finale, also wird zweimal freigegeben, bei 960 Pixeln und erneut bei 1080p. Und die Freigabe ist an die Artefakte gebunden statt an eine Job-ID, was heißt: Derselbe Job kann nicht mit neuen Eingaben unter der alten Abzeichnung neu laufen.
Was man zum Betrieb braucht
Python 3.12 oder neuer, die Rubber-Band-CLI und cloudflared. Unter macOS `brew install rubberband cloudflared`. Unter Ubuntu, Debian oder WSL `sudo apt install rubberband-cli python3-venv` plus cloudflared. Dann:
bash setup.sh
Das baut eine isolierte Virtualenv, installiert die Abhängigkeiten, legt eine leere `.env` an und prüft die Voraussetzungen. Man trägt den eigenen `ENHANCOR_API_KEY` und `REPLICATE_API_TOKEN` ein. Danach öffnet `./start.command` die Oberfläche auf `127.0.0.1:8770`, und `doctor.py --require-keys` sagt, was noch fehlt.
Die cloudflared-Abhängigkeit ist nicht dekorativ. Enhancor verlangt eine Webhook-URL, also startet der Launcher einen reinen Callback-Quick-Tunnel, wenn man keinen eigenen konfiguriert hat. Oberfläche und Medien bleiben auf localhost; der Tunnel existiert nur, um den Callback zu empfangen. Nutzer von nativem Windows werden auf WSL2 verwiesen.
Für das standardmäßig gehostete Setup braucht es keine lokalen Modellgewichte und keine GPU. Das ist die zentrale Architekturentscheidung: Die schwere Arbeit macht die API von jemand anderem, und das Repository ist die Orchestrierung, die Review-Gates und die Audiochirurgie.
Es gibt auch einen Agent-Pfad. Ordner in einem Coding-Agenten öffnen, auf `docs/SETUP-AGENT.md` und `.agents/skills/tein-video-workflow/SKILL.md` zeigen, und er erkennt das OS, installiert Voraussetzungen, baut die Umgebung, fährt die lokalen Tests, startet die App und prüft die Bereitschaft. Das README enthält einen fertigen Prompt dafür, und er endet mit einer Anweisung, die man notieren sollte: keine bezahlten Generierungen auslösen.
Der Funnel ist sichtbar, und das ist in Ordnung
Das Repository steht unter MIT. Es verlinkt im Banner außerdem eine TEIN-AI-Warteliste und eine Enhancor-API-Seite, die als günstigste im Markt beschrieben wird. Der Workflow hat diese Form teils, weil die Pipeline ein gehostetes Subjekt-Ersetzungsmodell braucht – und der Autor verkauft den Zugang zu einem.
Für Leser ändert das, was das Projekt ist. Man kann es nicht vollständig offline betreiben, also bekommt man eine gut dokumentierte Referenzimplementierung eines Workflows um eine bezahlte API. Die Dokumentationsqualität ist der Grund, sie zu lesen, ob man die API kauft oder nicht.
Übertragbar ist die Sequenz: Quelle schützen, Audio isolieren, die Identitätsverbindung vor der Generierung kappen, ein menschliches Gate auf die Maske setzen, die Freigabe an Dateien binden, zweimal generieren, den Originalton wiederherstellen. Nichts davon ist spezifisch für Seedance oder Enhancor.
Wo das hinführt
Subjektaustausch in Video ist technisch seit einer Weile möglich. Was fehlte, ist eine Produktionsform, die eine Marke oder ein Studio im Review verteidigen könnte: eine intakte Quelle, eine Freigabe mit Hash, eine unveränderte Stimme.
Das Repository ist ein kleines Open-Source-Projekt mit kommerziellem Ausläufer, und es wird wohl vor allem von Leuten gelesen, die es nie starten. Die neun Schritte lohnen die Lektüre trotzdem, weil sie beschreiben, wie verantwortbares Videoschneiden aussieht, wenn das Modell eine Komponente unter vielen ist und nicht das Produkt.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.