← Voltar ao blog
Aicerca de 7 min de leitura

Troque a pessoa no vídeo e depois devolva a voz

Publicado 11 de nov. de 2026
Troque a pessoa no vídeo e depois devolva a voz

Um repositório chamado Genjustsu apareceu em 6 de outubro com 1.454 estrelas e uma frase no lugar do título: sua cena, personagens novos.

É uma interface local mais um fluxo de agente para trocar o sujeito de um vídeo. Profundidade colorida, máscaras do SAM 3 e Seedance Edit ou Omni via Enhancor. Rascunho primeiro, aprovação antes do 1080p, e a exportação final devolve todo o áudio original da fonte em vez de qualquer coisa que o modelo tenha gerado.

Essa última cláusula merece uma segunda leitura.

O que o pipeline faz de fato

O README lista nove etapas, e elas são incomumente específicas, o que as torna verificáveis em vez de aspiracionais.

Salve a fonte sem alteração. Extraia o áudio e separe vocal de música com o Demucs no Replicate. Suba o vocal isolado três semitons, mantendo a duração estável com o Rubber Band. Normalize o vídeo de trabalho para 24 fps e no máximo 960 pixels. Pegue profundidade colorida do `lucataco/depth-anything-video` e mantenha as cores que ele devolve. Rode o SAM 3 para produzir máscaras PNG cruas sobre essa profundidade, depois confira alinhamento, cobertura e vazamento de fundo. Componha o sujeito de profundidade de volta sobre o fundo original.

Depois vem o portão. A máscara do clipe inteiro tem de ser revisada visualmente, e a aprovação fica atada a hashes dos artefatos atuais. Se qualquer coisa a montante muda, a aprovação não vale mais.

O MP4 composto carrega o vocal com o pitch alterado. Ele vai para o Seedance com referências de personagem e sem faixa de áudio própria, que é a parte que exigiu uma decisão: dar a um modelo de vídeo um vocal limpo e isolado é dar a ele algo para imitar. O Edit cuida de referências de imagem, o Omni e o multi-referência cuidam de uma referência de identidade em vídeo. Rascunho por padrão. Consultar, baixar, descartar o áudio gerado, colar de volta a trilha original completa. Quando estiver bom, aprove a passagem em 1080p e restaure a trilha outra vez.

Os três semitons

A mudança de pitch é a etapa mais interessante sem explicação, e o README não a explica.

A razão provável é inferência e não desenho declarado, então trate como tal: subir o vocal três semitons preservando a duração produz uma faixa que acompanha o movimento da boca sem entregar a voz original no tom original. O lip sync sobrevive porque a duração é mantida. O que o modelo ouve é parecido o bastante para ser plausível e distante o bastante para não ser uma amostra limpa de voz.

Seja qual for a intenção, o efeito no arquivo final é inequívoco. A trilha original volta no fim, inteira. A saída mantém o áudio da fonte e substitui a imagem, o que inverte a troca habitual. Quase toda ferramenta de vídeo gera áudio para acompanhar quadros gerados; esta trata o áudio como invariante.

Essa escolha tem forma jurídica além da técnica. Uma voz é de uma pessoa, e o fluxo é construído de modo que o modelo nunca a receba limpa e a exportação nunca use uma substituição gerada.

A aprovação atada a hash é a contribuição real

A revisão obrigatória da máscara não é novidade. O incomum é que a aprovação fica atada a hashes dos artefatos.

Leia a consequência: uma aprovação não é um estado de espírito, é uma assinatura sobre um conjunto específico de arquivos. Mude a máscara, mude a passagem de profundidade, mude a composição, e a assinatura está anulada. A geração não segue adiante com uma aprovação vencida.

Quem já rodou um pipeline de produção com etapa de revisão humana conhece a falha que isso evita. O revisor aprova a versão quatro. Uma correção entra, a versão cinco renderiza, e a versão cinco vai ao ar porque a fila andou. A ligação por hash fecha essa brecha ao fazer “aprovado” se referir a bytes em vez de a um momento.

Mais dois detalhes seguem a mesma lógica. O rascunho custa menos que o final, então a aprovação acontece duas vezes, em 960 pixels e de novo em 1080p. E a aprovação está atada aos artefatos, não a um id de job, o que significa que o mesmo job não pode ser reexecutado com entradas novas sob a assinatura antiga.

O que é preciso para rodar

Python 3.12 ou superior, Rubber Band CLI e cloudflared. No macOS, `brew install rubberband cloudflared`. No Ubuntu, Debian ou WSL, `sudo apt install rubberband-cli python3-venv` mais o cloudflared. Depois:

bash setup.sh

Isso monta um virtualenv isolado, instala os requisitos, cria um `.env` em branco e confere dependências. Você preenche o seu `ENHANCOR_API_KEY` e o `REPLICATE_API_TOKEN`. Depois `./start.command` abre a interface em `127.0.0.1:8770`, e `doctor.py --require-keys` diz o que ainda falta.

A dependência de cloudflared não é decorativa. O Enhancor exige uma URL de webhook, então o lançador abre um Quick Tunnel só de callback quando você não configurou o seu. A interface e a mídia ficam no localhost; o túnel existe apenas para receber o callback. Usuários de Windows nativo são orientados a usar WSL2.

Nenhum peso de modelo local e nenhuma GPU são necessários na configuração hospedada padrão. Essa é a principal decisão de arquitetura: o trabalho pesado é a API de outra pessoa, e o repositório é a orquestração, os portões de revisão e a cirurgia de áudio.

Há também um caminho por agente. Abra a pasta num agente de código, aponte para `docs/SETUP-AGENT.md` e `.agents/skills/tein-video-workflow/SKILL.md`, e ele detecta o sistema, instala pré-requisitos, monta o ambiente, roda os testes locais, inicia o app e verifica se está pronto. O README inclui um prompt pronto para isso, e ele termina com uma instrução que vale notar: não envie gerações pagas.

O funil é visível, e tudo bem

O repositório é MIT. Ele também leva a uma lista de espera da TEIN AI no banner e a uma página da API da Enhancor descrita como a mais barata do mercado. O fluxo existe no formato que tem em parte porque o pipeline precisa de um modelo hospedado de troca de sujeito, e o autor vende acesso a um.

Para o leitor, isso muda o que o projeto é. Você não consegue rodá-lo inteiramente offline, então o que recebe é uma implementação de referência bem documentada de um fluxo em torno de uma API paga. A qualidade da documentação é o motivo de ler, compre ou não a API.

A parte que se transfere é a sequência: proteger a fonte, isolar o áudio, quebrar o vínculo de identidade antes da geração, colocar um portão humano na máscara, atar a aprovação a arquivos, gerar duas vezes, restaurar a trilha original. Nada disso é específico do Seedance ou da Enhancor.

Onde isso desemboca

Troca de sujeito em vídeo é tecnicamente possível há um tempo. O que faltava era um formato de produção que uma marca ou um estúdio pudesse defender numa revisão: uma fonte mantida intacta, uma aprovação com hash, uma voz inalterada.

O repositório é um projeto pequeno de código aberto com uma cauda comercial, e provavelmente será lido sobretudo por gente que nunca vai rodá-lo. As nove etapas continuam valendo a leitura, porque descrevem como é uma edição de vídeo responsável quando o modelo é um componente entre muitos e não o produto.

Artigos relacionados