← Voltar ao blog
Aicerca de 7 min de leitura

Coloque seu ator no plano de outra pessoa, na sua própria GPU

Publicado 13 de nov. de 2026
Coloque seu ator no plano de outra pessoa, na sua própria GPU

A demo que vende o Openjutsu é simples. Você coloca um vídeo, coloca a foto de uma pessoa, aperta Generate, e o sujeito principal do clipe vira a pessoa da foto.

A frase que importa é a seguinte: a câmera, os cortes, o movimento e a trilha sonora ficam.

Essa restrição separa uma troca de personagem de um gerador de vídeo. Você não está pedindo a um modelo que imagine uma cena. Está pedindo que ele mantenha um plano que já existe, com o tempo e o som dele, e substitua a pessoa lá dentro. O que significa que todo problema difícil é um problema de consistência, e todo problema de consistência é um problema de rastreamento.

Três modelos, um pipeline

O Openjutsu é um frontend Next.js sobre um workflow do ComfyUI, construído com `@comfyorg/sdk` e seguindo o app de referência `comfy-reshoot` do próprio Comfy. Por baixo, três modelos abertos fazem três trabalhos diferentes.

MiniMax H3 gera o vídeo. SAM 3.1 rastreia pessoas e objetos ao longo do clipe. Qwen3-VL 8B olha para imagens e frames e escreve as descrições que viram prompts. Tudo roda com pesos abertos no seu próprio hardware.

A separação é o desenho. Um modelo único a quem você pede para "trocar esta pessoa mas deixar todo o resto" vai redesenhar a sala sem cerimônia. Dividindo o trabalho, o rastreador decide o que muda, o descritor decide como a mudança deve parecer, e o gerador só preenche a região que recebeu.

três manequins de artista cinzas idênticos enfileirados, o da direita pintado e vestido

Quatro modos, por ordem de ambição

A transferência de movimento simples substitui a pessoa que ocupa a maior parte do quadro. Um personagem entra, um personagem sai, e o app roda o workflow de troca única.

A transferência de movimento avançada lida com um a quatro personagens, cada um com um papel opcional. Cada pessoa rastreada é associada a um papel por plano, e quem não recebeu personagem fica exatamente como está. Existe uma variante de qualidade maior que faz uma passada por pessoa quando você só precisa de dois personagens.

A troca de objeto muda o que o SAM rastreia, não quem ele rastreia. Você pode substituir uma jaqueta, um carro ou um cabelo pelo que descrever ou mostrar numa foto, apagar tudo, ou mudar o fundo em volta enquanto a pessoa fica parada. Só essa área é regenerada.

From picture é o modo mais estranho e mais útil. O FLUX pega o personagem da sua foto e o coloca na forma do corpo do frame bruto do vídeo, mantendo o fundo da foto do personagem. Você revisa ou regenera esse still, depois confirma. O descritor visual assiste ao segmento e escreve o que acontece nele, ações, objetos na mão, expressões, e reescreve essa descrição para a imagem preparada. Aí você renderiza.

Existe também um interruptor Relight, desligado por padrão, que muda a luz sobre o personagem preparado na mesma passada do FLUX. Dezessete looks, cada um com uma imagem de exemplo, ou você descreve o seu. Uma opção separada reilumina a pessoa original do vídeo sem nenhuma foto de personagem, o que serve quando você só precisa que um plano combine com a cena em que foi montado.

O que custa rodar

Uma GPU NVIDIA. O autor testou numa RTX 4060 Ti com 16 GB de VRAM e 64 GB de RAM do sistema, com os modelos H3 int8 sendo transmitidos da RAM em vez de ficarem residentes. É uma placa de consumidor, não uma H100 alugada, e é o número mais animador do repositório.

ComfyUI 0.41.2 ou mais novo, porque o núcleo agora traz MiniMax H3, SAM 3.1 e TextGenerate. Em cima disso você instala uma pilha de nós customizados: `comfyui-h3-oneclick-swap` para os planos de troca e de objeto, máscaras de pessoas e papéis, manequins cinzas, rotulagem de trilhas, detector de cortes, lista de planos e blocos de correção de rosto; `ComfyUI-MiniMaxH3-Context-Loop` para o loop de clipes e a montagem final; `ComfyUI-H3-FaceRefine` para rastreamento de rosto, recorte, máscaras faciais SAM e colagem de volta; mais ControlNet aux, KJNodes, VideoHelperSuite, Impact Pack e alguns menores.

Os arquivos de modelo são igualmente específicos: um LoRA DMAD de quatro passos, o codificador de texto do H3 em int4, o descritor Qwen3-VL 8B em int8, e opcionalmente o par de LoRA SolarRenderer de quatro passos para o caminho from picture.

No Windows existe um `start_openjutsu.bat` que sobe o proxy, aplica o progresso ao vivo nele, constrói o app e abre a página. A instalação manual são cinco passos e inclui uma correção realmente obscura: defina `AIOHTTP_NOSENDFILE=1` antes de iniciar o ComfyUI, senão a primeira requisição de arquivo parcial, a que o player manda no instante em que você arrasta a barra, pode travar o `/view` e pendurar todos os downloads seguintes até você reiniciar.

O preflight é a boa ideia

Antes de um job subir, o Openjutsu compara o workflow escolhido com a lista de nós registrados e a lista de arquivos de modelo do ComfyUI. Pacotes faltando aparecem com links de instalação. Arquivos de modelo faltando aparecem com a pasta de destino.

É um recurso pequeno com um valor desproporcional. A maioria dos workflows do ComfyUI falha com um stack trace sobre uma classe de nó que ninguém nunca ouviu falar. Este diz qual repositório clonar e onde o arquivo vai, antes de você gastar vinte minutos esperando um render que nunca ia começar.

Ele também diz com clareza o que não verifica: dependências de Python, integridade dos modelos e VRAM disponível. Essa é a fronteira honesta. Um preflight que alegasse verificar VRAM erraria metade das vezes de qualquer jeito.

Onde isso fica desconfortável

A troca de personagem tem um caminho óbvio de abuso, e o repositório não finge o contrário. A tecnologia é uma substituição de rosto e corpo em material existente, rodando localmente, com pesos abertos, sem upload para um serviço e sem marca d'água. Os usos legítimos são extensos: pickups quando um ator não está disponível, previz com um stand-in, trocas de figurino sem regravar, localização com outro intérprete. Os usos ilegítimos estão a uma busca de distância.

A defesa prática é a mesma que vale para todo modelo local: a ferramenta não é a política. Estúdios têm autorizações e regras de cadeia de custódia. Indivíduos têm só a lei da sua jurisdição, que na maioria dos lugares está anos atrás da tecnologia.

Há também uma ressalva técnica que importa para quem planeja trabalho de verdade. O rastreamento falha. Oclusão, cortes rápidos, gente saindo de quadro, duas pessoas se sobrepondo com roupa parecida: o SAM 3.1 é bom e não é perfeito, e uma troca construída sobre uma trilha ruim produz exatamente o que você espera, um personagem que escorrega do corpo no meio do plano. A associação de papéis por plano do modo avançado existe por causa disso, e a passada de correção de rosto também.

Por que vale ler mesmo se você nunca instalar

A afirmação interessante do Openjutsu é arquitetural. Ela diz que uma substituição de personagem convincente é um problema de pipeline. Um modelo mais forte sozinho não resolve: rastrear o que deve mudar, descrever no que deve virar, gerar só aquela região, e depois corrigir rostos e luz em passadas separadas.

Essa decomposição é reutilizável. O mesmo esqueleto serve para trocas de figurino, colocação de produto, substituição de fundo e localização. Nenhum desses casos precisa de um modelo de vídeo melhor. Precisa de um plano melhor sobre quais pixels podem se mover.

O repositório entrega os planos, os manifestos, a lista de nós e os modos de falha. Isso é mais do que a maioria dos produtos fechados vai te contar sobre como o truque funciona.

Artigos relacionados