← 返回部落格
Ai預計閱讀 7 分鐘

九步換掉影片裡的人,審批綁在檔案雜湊上

發布於 2026年11月11日
九步換掉影片裡的人,審批綁在檔案雜湊上

一個叫 Genjustsu 的儲存庫 10 月 6 日出現,1454 星,標題就是一句話:你的場景,新角色。

它是一個本機 UI 加一條代理工作流,用來換掉影片裡的主體。彩色深度、SAM 3 遮罩,再透過 Enhancor 呼叫 Seedance Edit 或 Omni。先出草稿,1080p 之前要審批,最終匯出還原整條原始音軌,而不是模型生成的任何音訊。

最後那句值得讀兩遍。

這條流水線到底做什麼

README 列了九步,具體得少見,所以能被檢驗,而不是只能嚮往。

原片原樣保存。用 Replicate 上的 Demucs 抽音訊,把人聲和音樂分開。把人聲升三個半音,用 Rubber Band 保持時長不變。工作影片統一到 24 fps、最長邊 960 像素。從 `lucataco/depth-anything-video` 取彩色深度,保留它回傳的顏色。跑 SAM 3 在這層深度上產出原始 PNG 遮罩,再檢查對齊、覆蓋和背景溢出。把深度主體合成回原背景。

然後是閘門。整段片子的遮罩必須目視複核,審批綁定當前產物的雜湊。上游任何東西一變,審批即失效。

合成後的 MP4 帶著升高的人聲。它送給 Seedance,附角色參考,不帶獨立音軌——這裡做過一個決定:給影片模型一條乾淨的人聲,等於給它可以模仿的東西。Edit 處理影像參考,Omni 和多參考處理影片身分參考。預設草稿。輪詢、下載、丟掉生成的音訊、把完整原聲貼回去。滿意了,批准 1080p 那一遍,再還原一次音軌。

那三個半音

升調是最有意思又沒解釋的一步,README 沒解釋。

更可能是推理出來的而不是寫明的設計,那就按推理看:人聲升三個半音、時長不變,得到的音軌和嘴型對得上,又沒有把原始音高的人聲交出去。嘴型同步靠時長保持不變。模型聽到的東西足夠像,又不夠乾淨到能當聲音樣本。

不管意圖是什麼,成品上的效果很明確。原始音軌最後整條貼回。輸出保留來源音訊,換掉畫面,這與通常的取捨相反。多數影片工具為生成的影格生成配套音訊;這個把音訊當作不變量。

這個選擇有技術形狀,也有法律形狀。聲音是某個人的,工作流被設計成模型從不乾淨地拿到它,匯出也從不使用生成的替代品。

雜湊綁定的審批才是真正的貢獻

強制複核遮罩不算新鮮。新鮮的是審批綁在產物雜湊上。

看後果:審批不是一種心態,是對一組具體檔案的簽名。換遮罩、換深度、換合成,簽名作廢。生成不會帶著過期審批往下走。

跑過帶人工複核環節的生產流水線的人都知道這防的是什麼。複核者批准了第四版。有人修了一處,第五版算圖出來,然後第五版上線了,因為佇列往前走了。雜湊綁定把「已批准」指向位元組而不是某個瞬間,堵上了這個缺口。

還有兩個細節同理。草稿比成片便宜,所以審批做兩次,960 像素一次,1080p 一次。審批綁產物而不是 job id,意味著同一個 job 不能在舊簽字下換新輸入重跑。

跑起來要什麼

Python 3.12 以上、Rubber Band CLI、cloudflared。macOS 上 `brew install rubberband cloudflared`。Ubuntu、Debian 或 WSL 上 `sudo apt install rubberband-cli python3-venv`,再加 cloudflared。然後:

bash setup.sh

它會建一個隔離的 virtualenv,裝依賴,產生空的 `.env`,檢查依賴。你填自己的 `ENHANCOR_API_KEY` 和 `REPLICATE_API_TOKEN`。然後 `./start.command` 在 `127.0.0.1:8770` 打開 UI,`doctor.py --require-keys` 告訴你還缺什麼。

cloudflared 這個依賴不是裝飾。Enhancor 需要一個 webhook URL,所以沒配自己的時候,啟動器會起一個只收回呼的 Quick Tunnel。UI 和媒體留在 localhost,通道只用來接回呼。原生 Windows 使用者被告知用 WSL2。

預設的託管方案不需要本機權重,也不需要 GPU。這是主要的架構決定:重活是別人的 API,儲存庫是編排、複核閘門和音訊手術。

還有一條代理路徑。用編碼代理打開資料夾,指向 `docs/SETUP-AGENT.md` 和 `.agents/skills/tein-video-workflow/SKILL.md`,它會辨識系統、裝前置、建環境、跑本機測試、啟動應用程式、驗證就緒。README 裡有現成的提示詞,結尾一句值得注意:不要提交付費生成。

漏斗是看得見的,這沒問題

儲存庫是 MIT。橫幅裡也鏈到一個 TEIN AI 候補名單,和一個自稱市場上最便宜的 Enhancor API 頁面。工作流是這個形狀,一部分原因是它需要一個託管的換主體模型,而作者在賣這個存取權。

對讀者來說,這改變了專案是什麼。你不能完全離線跑,所以你拿到的是一份圍繞付費 API 的工作流的詳細參考實作。文件品質是值得讀的理由,買不買 API 都一樣。

能遷移的部分是順序:保護源片、分離音訊、在生成前切斷身分連結、給遮罩加人工閘門、把審批綁到檔案、生成兩遍、還原原始音軌。沒有一樣只屬於 Seedance 或 Enhancor。

這件事會走到哪

影片裡的主體替換技術上早就能做。缺的是一個品牌或工作室能在評審裡自辯的生產形狀:源片完好、審批帶雜湊、聲音沒變。

這個儲存庫是個帶商業尾巴的小開源專案,讀它的人大概多半不會真跑。九步仍然值得讀,因為它們描述的是當模型只是眾多元件之一、而不是產品本身時,可追責的影片剪輯長什麼樣。

相關文章