Coloque seu ator no plano de outra pessoa, na sua própria GPU

A demo que vende o Openjutsu é simples. Você coloca um vídeo, coloca a foto de uma pessoa, aperta Generate, e o sujeito principal do clipe vira a pessoa da foto.
A frase que importa é a seguinte: a câmera, os cortes, o movimento e a trilha sonora ficam.
Essa restrição separa uma troca de personagem de um gerador de vídeo. Você não está pedindo a um modelo que imagine uma cena. Está pedindo que ele mantenha um plano que já existe, com o tempo e o som dele, e substitua a pessoa lá dentro. O que significa que todo problema difícil é um problema de consistência, e todo problema de consistência é um problema de rastreamento.
Três modelos, um pipeline
O Openjutsu é um frontend Next.js sobre um workflow do ComfyUI, construído com `@comfyorg/sdk` e seguindo o app de referência `comfy-reshoot` do próprio Comfy. Por baixo, três modelos abertos fazem três trabalhos diferentes.
MiniMax H3 gera o vídeo. SAM 3.1 rastreia pessoas e objetos ao longo do clipe. Qwen3-VL 8B olha para imagens e frames e escreve as descrições que viram prompts. Tudo roda com pesos abertos no seu próprio hardware.
A separação é o desenho. Um modelo único a quem você pede para "trocar esta pessoa mas deixar todo o resto" vai redesenhar a sala sem cerimônia. Dividindo o trabalho, o rastreador decide o que muda, o descritor decide como a mudança deve parecer, e o gerador só preenche a região que recebeu.

Quatro modos, por ordem de ambição
A transferência de movimento simples substitui a pessoa que ocupa a maior parte do quadro. Um personagem entra, um personagem sai, e o app roda o workflow de troca única.
A transferência de movimento avançada lida com um a quatro personagens, cada um com um papel opcional. Cada pessoa rastreada é associada a um papel por plano, e quem não recebeu personagem fica exatamente como está. Existe uma variante de qualidade maior que faz uma passada por pessoa quando você só precisa de dois personagens.
A troca de objeto muda o que o SAM rastreia, não quem ele rastreia. Você pode substituir uma jaqueta, um carro ou um cabelo pelo que descrever ou mostrar numa foto, apagar tudo, ou mudar o fundo em volta enquanto a pessoa fica parada. Só essa área é regenerada.
From picture é o modo mais estranho e mais útil. O FLUX pega o personagem da sua foto e o coloca na forma do corpo do frame bruto do vídeo, mantendo o fundo da foto do personagem. Você revisa ou regenera esse still, depois confirma. O descritor visual assiste ao segmento e escreve o que acontece nele, ações, objetos na mão, expressões, e reescreve essa descrição para a imagem preparada. Aí você renderiza.
Existe também um interruptor Relight, desligado por padrão, que muda a luz sobre o personagem preparado na mesma passada do FLUX. Dezessete looks, cada um com uma imagem de exemplo, ou você descreve o seu. Uma opção separada reilumina a pessoa original do vídeo sem nenhuma foto de personagem, o que serve quando você só precisa que um plano combine com a cena em que foi montado.
O que custa rodar
Uma GPU NVIDIA. O autor testou numa RTX 4060 Ti com 16 GB de VRAM e 64 GB de RAM do sistema, com os modelos H3 int8 sendo transmitidos da RAM em vez de ficarem residentes. É uma placa de consumidor, não uma H100 alugada, e é o número mais animador do repositório.
ComfyUI 0.41.2 ou mais novo, porque o núcleo agora traz MiniMax H3, SAM 3.1 e TextGenerate. Em cima disso você instala uma pilha de nós customizados: `comfyui-h3-oneclick-swap` para os planos de troca e de objeto, máscaras de pessoas e papéis, manequins cinzas, rotulagem de trilhas, detector de cortes, lista de planos e blocos de correção de rosto; `ComfyUI-MiniMaxH3-Context-Loop` para o loop de clipes e a montagem final; `ComfyUI-H3-FaceRefine` para rastreamento de rosto, recorte, máscaras faciais SAM e colagem de volta; mais ControlNet aux, KJNodes, VideoHelperSuite, Impact Pack e alguns menores.
Os arquivos de modelo são igualmente específicos: um LoRA DMAD de quatro passos, o codificador de texto do H3 em int4, o descritor Qwen3-VL 8B em int8, e opcionalmente o par de LoRA SolarRenderer de quatro passos para o caminho from picture.
No Windows existe um `start_openjutsu.bat` que sobe o proxy, aplica o progresso ao vivo nele, constrói o app e abre a página. A instalação manual são cinco passos e inclui uma correção realmente obscura: defina `AIOHTTP_NOSENDFILE=1` antes de iniciar o ComfyUI, senão a primeira requisição de arquivo parcial, a que o player manda no instante em que você arrasta a barra, pode travar o `/view` e pendurar todos os downloads seguintes até você reiniciar.
O preflight é a boa ideia
Antes de um job subir, o Openjutsu compara o workflow escolhido com a lista de nós registrados e a lista de arquivos de modelo do ComfyUI. Pacotes faltando aparecem com links de instalação. Arquivos de modelo faltando aparecem com a pasta de destino.
É um recurso pequeno com um valor desproporcional. A maioria dos workflows do ComfyUI falha com um stack trace sobre uma classe de nó que ninguém nunca ouviu falar. Este diz qual repositório clonar e onde o arquivo vai, antes de você gastar vinte minutos esperando um render que nunca ia começar.
Ele também diz com clareza o que não verifica: dependências de Python, integridade dos modelos e VRAM disponível. Essa é a fronteira honesta. Um preflight que alegasse verificar VRAM erraria metade das vezes de qualquer jeito.
Onde isso fica desconfortável
A troca de personagem tem um caminho óbvio de abuso, e o repositório não finge o contrário. A tecnologia é uma substituição de rosto e corpo em material existente, rodando localmente, com pesos abertos, sem upload para um serviço e sem marca d'água. Os usos legítimos são extensos: pickups quando um ator não está disponível, previz com um stand-in, trocas de figurino sem regravar, localização com outro intérprete. Os usos ilegítimos estão a uma busca de distância.
A defesa prática é a mesma que vale para todo modelo local: a ferramenta não é a política. Estúdios têm autorizações e regras de cadeia de custódia. Indivíduos têm só a lei da sua jurisdição, que na maioria dos lugares está anos atrás da tecnologia.
Há também uma ressalva técnica que importa para quem planeja trabalho de verdade. O rastreamento falha. Oclusão, cortes rápidos, gente saindo de quadro, duas pessoas se sobrepondo com roupa parecida: o SAM 3.1 é bom e não é perfeito, e uma troca construída sobre uma trilha ruim produz exatamente o que você espera, um personagem que escorrega do corpo no meio do plano. A associação de papéis por plano do modo avançado existe por causa disso, e a passada de correção de rosto também.
Por que vale ler mesmo se você nunca instalar
A afirmação interessante do Openjutsu é arquitetural. Ela diz que uma substituição de personagem convincente é um problema de pipeline. Um modelo mais forte sozinho não resolve: rastrear o que deve mudar, descrever no que deve virar, gerar só aquela região, e depois corrigir rostos e luz em passadas separadas.
Essa decomposição é reutilizável. O mesmo esqueleto serve para trocas de figurino, colocação de produto, substituição de fundo e localização. Nenhum desses casos precisa de um modelo de vídeo melhor. Precisa de um plano melhor sobre quais pixels podem se mover.
O repositório entrega os planos, os manifestos, a lista de nós e os modos de falha. Isso é mais do que a maioria dos produtos fechados vai te contar sobre como o truque funciona.
Artigos relacionados
Um servidor, uma streamer de IA: dentro do código que roda uma live noturna
open-yoki é o código de produção de uma host de IA que transmite toda noite no Binance Square, sem persona, voz ou qualquer recurso que toque dinheiro. headless Chrome desenha o frame, ffmpeg empurra RTMP e uma pasta de Markdown decide o humor e o que ela publica.
O Pinky deixa um agent dirigir seu celular e segura o botão Enviar até você clicar em Permitir
O Pinky conecta qualquer agent MCP a um iPhone ou Android de verdade e aplica a aprovação no próprio gateway, não num prompt. Apps de banco são invisíveis, campos de senha estão fora de alcance e, no Android 13, o agent ganha uma segunda tela escondida.
O Cicada escuta o áudio da sua reunião direto, sem bot na sala
O Cicada é um app gratuito para Mac, Windows, Linux e Android que escreve legendas bilíngues e notas de reunião estruturadas a partir do áudio do sistema, e depois deixa você segurar uma tecla para responder no outro idioma com sua própria voz clonada. Nenhum bot entra na chamada.
O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar
O Doubao-Seed-Realtime-1.0 junta frames de câmera, frames de tela e fala numa única sessão full duplex, a no máximo dois frames por segundo. As decisões interessantes são a taxa de frames, a fala proativa e a resposta de auditoria que já vem ligada.