Troque a pessoa no vídeo e depois devolva a voz

Um repositório chamado Genjustsu apareceu em 6 de outubro com 1.454 estrelas e uma frase no lugar do título: sua cena, personagens novos.
É uma interface local mais um fluxo de agente para trocar o sujeito de um vídeo. Profundidade colorida, máscaras do SAM 3 e Seedance Edit ou Omni via Enhancor. Rascunho primeiro, aprovação antes do 1080p, e a exportação final devolve todo o áudio original da fonte em vez de qualquer coisa que o modelo tenha gerado.
Essa última cláusula merece uma segunda leitura.
O que o pipeline faz de fato
O README lista nove etapas, e elas são incomumente específicas, o que as torna verificáveis em vez de aspiracionais.
Salve a fonte sem alteração. Extraia o áudio e separe vocal de música com o Demucs no Replicate. Suba o vocal isolado três semitons, mantendo a duração estável com o Rubber Band. Normalize o vídeo de trabalho para 24 fps e no máximo 960 pixels. Pegue profundidade colorida do `lucataco/depth-anything-video` e mantenha as cores que ele devolve. Rode o SAM 3 para produzir máscaras PNG cruas sobre essa profundidade, depois confira alinhamento, cobertura e vazamento de fundo. Componha o sujeito de profundidade de volta sobre o fundo original.
Depois vem o portão. A máscara do clipe inteiro tem de ser revisada visualmente, e a aprovação fica atada a hashes dos artefatos atuais. Se qualquer coisa a montante muda, a aprovação não vale mais.
O MP4 composto carrega o vocal com o pitch alterado. Ele vai para o Seedance com referências de personagem e sem faixa de áudio própria, que é a parte que exigiu uma decisão: dar a um modelo de vídeo um vocal limpo e isolado é dar a ele algo para imitar. O Edit cuida de referências de imagem, o Omni e o multi-referência cuidam de uma referência de identidade em vídeo. Rascunho por padrão. Consultar, baixar, descartar o áudio gerado, colar de volta a trilha original completa. Quando estiver bom, aprove a passagem em 1080p e restaure a trilha outra vez.
Os três semitons
A mudança de pitch é a etapa mais interessante sem explicação, e o README não a explica.
A razão provável é inferência e não desenho declarado, então trate como tal: subir o vocal três semitons preservando a duração produz uma faixa que acompanha o movimento da boca sem entregar a voz original no tom original. O lip sync sobrevive porque a duração é mantida. O que o modelo ouve é parecido o bastante para ser plausível e distante o bastante para não ser uma amostra limpa de voz.
Seja qual for a intenção, o efeito no arquivo final é inequívoco. A trilha original volta no fim, inteira. A saída mantém o áudio da fonte e substitui a imagem, o que inverte a troca habitual. Quase toda ferramenta de vídeo gera áudio para acompanhar quadros gerados; esta trata o áudio como invariante.
Essa escolha tem forma jurídica além da técnica. Uma voz é de uma pessoa, e o fluxo é construído de modo que o modelo nunca a receba limpa e a exportação nunca use uma substituição gerada.
A aprovação atada a hash é a contribuição real
A revisão obrigatória da máscara não é novidade. O incomum é que a aprovação fica atada a hashes dos artefatos.
Leia a consequência: uma aprovação não é um estado de espírito, é uma assinatura sobre um conjunto específico de arquivos. Mude a máscara, mude a passagem de profundidade, mude a composição, e a assinatura está anulada. A geração não segue adiante com uma aprovação vencida.
Quem já rodou um pipeline de produção com etapa de revisão humana conhece a falha que isso evita. O revisor aprova a versão quatro. Uma correção entra, a versão cinco renderiza, e a versão cinco vai ao ar porque a fila andou. A ligação por hash fecha essa brecha ao fazer “aprovado” se referir a bytes em vez de a um momento.
Mais dois detalhes seguem a mesma lógica. O rascunho custa menos que o final, então a aprovação acontece duas vezes, em 960 pixels e de novo em 1080p. E a aprovação está atada aos artefatos, não a um id de job, o que significa que o mesmo job não pode ser reexecutado com entradas novas sob a assinatura antiga.
O que é preciso para rodar
Python 3.12 ou superior, Rubber Band CLI e cloudflared. No macOS, `brew install rubberband cloudflared`. No Ubuntu, Debian ou WSL, `sudo apt install rubberband-cli python3-venv` mais o cloudflared. Depois:
bash setup.sh
Isso monta um virtualenv isolado, instala os requisitos, cria um `.env` em branco e confere dependências. Você preenche o seu `ENHANCOR_API_KEY` e o `REPLICATE_API_TOKEN`. Depois `./start.command` abre a interface em `127.0.0.1:8770`, e `doctor.py --require-keys` diz o que ainda falta.
A dependência de cloudflared não é decorativa. O Enhancor exige uma URL de webhook, então o lançador abre um Quick Tunnel só de callback quando você não configurou o seu. A interface e a mídia ficam no localhost; o túnel existe apenas para receber o callback. Usuários de Windows nativo são orientados a usar WSL2.
Nenhum peso de modelo local e nenhuma GPU são necessários na configuração hospedada padrão. Essa é a principal decisão de arquitetura: o trabalho pesado é a API de outra pessoa, e o repositório é a orquestração, os portões de revisão e a cirurgia de áudio.
Há também um caminho por agente. Abra a pasta num agente de código, aponte para `docs/SETUP-AGENT.md` e `.agents/skills/tein-video-workflow/SKILL.md`, e ele detecta o sistema, instala pré-requisitos, monta o ambiente, roda os testes locais, inicia o app e verifica se está pronto. O README inclui um prompt pronto para isso, e ele termina com uma instrução que vale notar: não envie gerações pagas.
O funil é visível, e tudo bem
O repositório é MIT. Ele também leva a uma lista de espera da TEIN AI no banner e a uma página da API da Enhancor descrita como a mais barata do mercado. O fluxo existe no formato que tem em parte porque o pipeline precisa de um modelo hospedado de troca de sujeito, e o autor vende acesso a um.
Para o leitor, isso muda o que o projeto é. Você não consegue rodá-lo inteiramente offline, então o que recebe é uma implementação de referência bem documentada de um fluxo em torno de uma API paga. A qualidade da documentação é o motivo de ler, compre ou não a API.
A parte que se transfere é a sequência: proteger a fonte, isolar o áudio, quebrar o vínculo de identidade antes da geração, colocar um portão humano na máscara, atar a aprovação a arquivos, gerar duas vezes, restaurar a trilha original. Nada disso é específico do Seedance ou da Enhancor.
Onde isso desemboca
Troca de sujeito em vídeo é tecnicamente possível há um tempo. O que faltava era um formato de produção que uma marca ou um estúdio pudesse defender numa revisão: uma fonte mantida intacta, uma aprovação com hash, uma voz inalterada.
O repositório é um projeto pequeno de código aberto com uma cauda comercial, e provavelmente será lido sobretudo por gente que nunca vai rodá-lo. As nove etapas continuam valendo a leitura, porque descrevem como é uma edição de vídeo responsável quando o modelo é um componente entre muitos e não o produto.
Artigos relacionados
O Antigravity levou os agentes para a nuvem. O que fica de fora é o seu setup local
A versão 2.29 do Antigravity coloca o agente em uma VM na nuvem que sobrevive ao seu laptop e usa voz para aprovar permissões. O setup local não vai junto.
A NVIDIA abriu quatro modelos de mundo de 16B. O que ninguém mediu é o aprendizado de política
Quatro modelos de mundo abertos de 16B e um decodificador que emite geometria de uma só vez. A NVIDIA entregou as duas metades, mas admitiu que falta medir o aprendizado de política.
Quatro dos repositórios em alta no GitHub são bibliotecas de skills. O problema agora é empacotar
Skills de agente ocupam mais de um quarto das tendências do GitHub, vindas da Anthropic, Google e Cloudflare. O formato é simples; o empacotamento é um caos de quatro caminhos.
A Thinking Machines lançou um modelo de 594B e empurrou os pesos para a semana seguinte
O Inkling 2 Small chega com contexto de um milhão de tokens e visão como canal de verificação. Os pesos abertos, prometidos para a semana seguinte, ainda não têm data.