Remplacer la personne dans la vidéo, puis remettre la voix

Un dépôt nommé Genjustsu est apparu le 6 octobre avec 1 454 étoiles et une phrase pour titre : votre scène, de nouveaux personnages.
C'est une interface locale plus un workflow d'agent pour échanger le sujet d'une vidéo. Profondeur colorée, masques SAM 3, et Seedance Edit ou Omni via Enhancor. Brouillon d'abord, approbation avant le 1080p, et l'export final restitue l'intégralité de la bande-son d'origine plutôt que ce que le modèle a généré.
Cette dernière clause mérite d'être lue deux fois.
Ce que fait réellement le pipeline
Le README liste neuf étapes, et elles sont d'une précision inhabituelle, ce qui les rend vérifiables plutôt qu'aspirationnelles.
Sauvegarder la source sans y toucher. Extraire l'audio et séparer la voix de la musique avec Demucs sur Replicate. Monter la voix isolée de trois demi-tons, en maintenant la durée stable avec Rubber Band. Normaliser la vidéo de travail à 24 fps et 960 pixels au maximum. Obtenir la profondeur colorée depuis `lucataco/depth-anything-video` et conserver les couleurs renvoyées. Lancer SAM 3 pour produire des masques PNG bruts sur cette profondeur, puis vérifier l'alignement, la couverture et les débordements sur le fond. Recomposer le sujet de profondeur sur le fond d'origine.
Puis la porte. Le masque du clip complet doit être revu visuellement, et l'approbation est liée à des empreintes des artefacts courants. Si quoi que ce soit en amont change, l'approbation ne s'applique plus.
Le MP4 composite porte la voix transposée. Il part vers Seedance avec des références de personnage et sans piste audio autonome : c'est la partie qui a demandé une décision, car donner à un modèle vidéo une voix isolée propre, c'est lui donner quelque chose à imiter. Edit gère les références d'image, Omni et les références multiples gèrent une référence d'identité vidéo. Brouillon par défaut. Interroger, télécharger, jeter l'audio généré, recoller l'intégralité de la bande-son d'origine. Une fois satisfait, approuver la passe 1080p et restaurer à nouveau la bande-son.
Les trois demi-tons
Le décalage de hauteur est l'étape inexpliquée la plus intéressante, et le README ne l'explique pas.
La raison probable relève de l'inférence plutôt que d'un choix énoncé, donc à prendre comme telle : monter la voix de trois demi-tons en préservant la durée produit une piste qui colle aux mouvements de bouche sans livrer la voix d'origine à sa hauteur d'origine. La synchro labiale survit parce que la durée est tenue. Ce que le modèle entend est assez proche pour être plausible et assez éloigné pour ne pas être un échantillon de voix propre.
Quelle que soit l'intention, l'effet sur le fichier final est sans ambiguïté. La bande-son d'origine revient à la fin, complète. La sortie conserve l'audio source et remplace l'image, ce qui inverse l'échange habituel. La plupart des outils vidéo génèrent de l'audio pour accompagner des images générées ; celui-ci traite l'audio comme l'invariant.
Ce choix a une forme juridique autant que technique. Une voix appartient à une personne, et le workflow est construit pour que le modèle ne la reçoive jamais proprement et que l'export n'utilise jamais de remplacement généré.
L'approbation liée par empreinte est la vraie contribution
La revue obligatoire du masque n'a rien d'inhabituel. Ce qui l'est, c'est que l'approbation soit liée aux empreintes des artefacts.
Lisez la conséquence : une approbation n'est pas un état d'esprit, c'est une signature sur un ensemble de fichiers précis. Changez le masque, changez la passe de profondeur, changez le composite, et la signature est nulle. La génération ne continue pas sur une approbation périmée.
Quiconque a fait tourner un pipeline de production avec une étape de revue humaine connaît l'échec que cela évite. Le relecteur approuve la version quatre. Un correctif arrive, la version cinq est rendue, et la version cinq part parce que la file a avancé. La liaison par empreinte ferme cet écart en faisant désigner des octets par « approuvé », plutôt qu'un instant.
Deux autres détails suivent la même logique. Le brouillon coûte moins que le final, donc l'approbation a lieu deux fois, à 960 pixels puis à 1080p. Et l'approbation est liée aux artefacts plutôt qu'à un identifiant de job, ce qui signifie qu'un même job ne peut pas être relancé avec de nouvelles entrées sous l'ancienne signature.
Ce qu'il faut pour le faire tourner
Python 3.12 ou plus, le CLI Rubber Band, et cloudflared. Sous macOS, `brew install rubberband cloudflared`. Sous Ubuntu, Debian ou WSL, `sudo apt install rubberband-cli python3-venv` plus cloudflared. Ensuite :
bash setup.sh
Cela construit un virtualenv isolé, installe les dépendances, crée un `.env` vide et vérifie les dépendances. Vous renseignez votre `ENHANCOR_API_KEY` et votre `REPLICATE_API_TOKEN`. Puis `./start.command` ouvre l'interface sur `127.0.0.1:8770`, et `doctor.py --require-keys` indique ce qui manque encore.
La dépendance à cloudflared n'est pas décorative. Enhancor exige une URL de webhook, donc le lanceur démarre un Quick Tunnel réservé au callback quand vous n'avez pas configuré le vôtre. L'interface et les médias restent sur localhost ; le tunnel n'existe que pour recevoir le callback. Les utilisateurs de Windows natif sont renvoyés vers WSL2.
Aucun poids de modèle local ni GPU n'est nécessaire pour la configuration hébergée par défaut. C'est la principale décision d'architecture : le gros du travail est l'API de quelqu'un d'autre, et le dépôt, c'est l'orchestration, les portes de revue et la chirurgie audio.
Il existe aussi une voie agent. Ouvrez le dossier dans un agent de code, pointez-le sur `docs/SETUP-AGENT.md` et `.agents/skills/tein-video-workflow/SKILL.md`, et il détectera l'OS, installera les prérequis, construira l'environnement, lancera les tests locaux, démarrera l'app et vérifiera qu'elle est prête. Le README inclut un prompt prêt à l'emploi, qui se termine par une instruction à noter : ne pas lancer de générations payantes.
L'entonnoir est visible, et c'est très bien
Le dépôt est en MIT. Il renvoie aussi vers une liste d'attente TEIN AI dans la bannière et vers une page d'API Enhancor décrite comme la moins chère du marché. Le workflow a cette forme en partie parce que le pipeline a besoin d'un modèle hébergé de remplacement de sujet, et que l'auteur en vend l'accès.
Pour un lecteur, cela change la nature du projet. Vous ne pouvez pas le faire tourner entièrement hors ligne : ce que vous obtenez est une implémentation de référence bien documentée d'un workflow autour d'une API payante. La qualité de la documentation est la raison de la lire, que vous achetiez l'API ou non.
La partie qui se transpose, c'est la séquence : protéger la source, isoler l'audio, casser le lien d'identité avant la génération, poser une porte humaine sur le masque, lier l'approbation aux fichiers, générer deux fois, restaurer la bande-son d'origine. Rien de tout cela n'est propre à Seedance ou à Enhancor.
Où cela mène
Le remplacement de sujet dans une vidéo est techniquement possible depuis un moment. Ce qui manquait, c'est une forme de production qu'une marque ou un studio pourrait défendre en revue : une source intacte, une approbation avec une empreinte, une voix inchangée.
Le dépôt est un petit projet open source avec une queue commerciale, et il sera probablement lu surtout par des gens qui ne le lanceront jamais. Les neuf étapes valent quand même la lecture, parce qu'elles décrivent à quoi ressemble un montage vidéo responsable quand le modèle est un composant parmi d'autres plutôt que le produit.
Articles associés
Un modèle dense de 65B dépasse des rivaux huit fois plus gros, pour 32 millions de dollars
Un modèle dense de 65B devance des rivaux de 500B et plus sur Terminal-Bench 2.1. Le chiffre qui compte n'est pas le score mais les 32 millions de dollars dépensés.
Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où
Le nouveau benchmark de biologie d'OpenAI montre que le meilleur modèle se trompe encore sur une interprétation de laboratoire sur trois. Les échecs documentés révèlent où la perception n'atteint pas la conclusion.
Antigravity déplace ses agents dans le cloud, sans votre outillage local
La version 2.29 d'Antigravity place l'agent dans une VM cloud qui survit à votre portable et utilise la voix pour approuver les permissions. L'outillage local ne suit pas.
NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique
Quatre modèles de monde ouverts de 16B et un décodeur qui émet la géométrie d'un seul coup. NVIDIA livre les deux moitiés, mais admet qu'il reste à mesurer l'apprentissage de politique.