把演員放進別人的鏡頭,用你自己的顯卡

能讓人記住 Openjutsu 的示範很簡單。丟進一段影片,丟進一張人物照片,點 Generate,片中的主角就變成照片裡的人。
真正關鍵的是下一句:機位、剪輯點、運動和音軌都留在原位。
這條約束把換人和影片生成分開。你沒讓模型憑空想像一個場景。你要它保留一個已經存在的鏡頭,連同節奏和聲音,只把裡面的人換掉。於是每個難點都是連貫性問題,每個連貫性問題都是追蹤問題。
三個模型,一條流水線
Openjutsu 是架在 ComfyUI 工作流上的 Next.js 前端,用 `@comfyorg/sdk` 寫成,參照 Comfy 自己的 `comfy-reshoot` 範例。底下三個開源模型幹三件不同的事。
MiniMax H3 生成影片。SAM 3.1 在整段片子裡追蹤人和物體。Qwen3-VL 8B 看圖片和影片影格,寫出後來變成提示詞的描述。整套跑在你自己的硬體上,權重全開放。
拆開就是設計。讓一個模型去「換掉這個人,別的東西別動」,它會順手把房間重畫一遍。活兒分開,追蹤器決定哪裡變,描述器決定變成什麼,生成器只填指定區域。

四種模式,按野心排
簡單動作移轉替換那個佔滿大部分畫面的人。一個角色進,一個角色出,應用程式跑單換人工作流。
進階動作移轉處理一到四個角色,每個可帶一個可選身分設定。每個鏡頭裡被追蹤的人都會匹配到一個角色,沒分配的人保持原樣。還有個品質更高的變體,只要兩個角色時給每個人各跑一遍。
物體替換改的是 SAM 追蹤什麼,跟追蹤誰無關。你可以用描述或一張圖替換一件外套、一輛車、一頭頭髮,也可以整個刪掉,或者只換周圍的背景而人不動。只有那塊區域會重新生成。
從圖片生成是最怪也最有用的模式。FLUX 把你照片裡的角色擺成原始影片影格的身體姿態,保留照片的背景。你先審或重生成那張靜幀,再確認。視覺描述器看這一段,寫出裡面發生了什麼,動作、手中的東西、表情,再針對準備好的圖改寫描述。之後才渲染。
還有個 Relight 開關,預設關閉,在同一次 FLUX 處理裡改變準備角色身上的光。十七種光效,每種配一張範例圖,也能自己描述。另一個獨立選項不需要角色照片,直接給影片裡原本的人重新打光,適合讓某個鏡頭和它被剪進去的場景對上。
跑起來要什麼
一張 NVIDIA 顯卡。作者在 RTX 4060 Ti 上測的,16 GB 顯示記憶體,64 GB 記憶體,H3 的 int8 模型從記憶體串流載入,不常駐。這是消費級卡,不是租來的 H100,也是倉庫裡最讓人振奮的數字。
需要 ComfyUI 0.41.2 或更新,核心已自帶 MiniMax H3、SAM 3.1 和 TextGenerate。上面還要裝一整套自訂節點:`comfyui-h3-oneclick-swap` 管換人與物體方案、人和角色遮罩、灰色人體模型、軌跡標註、剪接點查找、鏡頭清單和修臉分塊;`ComfyUI-MiniMaxH3-Context-Loop` 管片段循環和最終合成;`ComfyUI-H3-FaceRefine` 管人臉追蹤、裁剪、SAM 人臉遮罩和貼回;還有 ControlNet aux、KJNodes、VideoHelperSuite、Impact Pack 和幾個更小的。
模型檔案同樣具體:一個 DMAD 四步 LoRA,int4 的 H3 文字編碼器,int8 的 Qwen3-VL 8B 描述器,以及可選的 SolarRenderer 四步 LoRA 一對,給從圖片生成那條路用。
Windows 上有個 `start_openjutsu.bat`,會啟動代理、給它打即時進度補丁、建置應用程式並開啟頁面。手動安裝分五步,其中有個相當冷門的修正:啟動 ComfyUI 前設好 `AIOHTTP_NOSENDFILE=1`,否則播放器一拖進度條就發出的第一個分段請求會卡住 `/view`,之後所有下載都掛著,直到你重開。
預檢是這個專案最好的想法
任務上傳前,Openjutsu 會拿選中的工作流比對 ComfyUI 已註冊的節點清單和模型檔案清單。缺的節點包帶安裝連結,缺的模型檔案帶它該放的目錄。
這是個小功能,價值卻大得不成比例。大多數 ComfyUI 工作流掛掉時只給你一段堆疊,說某個沒人聽過的節點類別找不到。這個會告訴你 clone 哪個倉庫、檔案放哪,在你花二十分鐘等一次根本不會開始的渲染之前。
它也很直白地寫明自己不查什麼:Python 依賴、模型完整性、可用顯示記憶體。這條邊界畫得誠實。一個聲稱能查顯示記憶體的預檢,一半時間本來就是錯的。
讓人有點不舒服的地方
換人有很明顯的濫用路徑,倉庫也沒裝作不是這樣。這項技術是在既有素材裡替換人臉和身體,本地跑,權重開放,不上傳,不浮水印。正當用途很多:演員來不了時補拍,用替身做預演,不重拍就換戲服,換個表演者做本地化。不正當的用途,搜一下就有。
實際的防線和所有本地模型一樣:工具管不了政策。片廠有授權書和素材流轉規矩。個人手裡只有轄區的法律,多數地方的法律落後技術好幾年。
對打算真做工的人,還有個技術提醒:追蹤會失敗。遮蔽、快切、人走出畫面、兩個穿得很像的人重疊,SAM 3.1 很好,但不完美,壞軌跡上的換人結果和你預想的一樣,角色在鏡頭中途從身上滑開。進階模式的逐鏡頭角色匹配就是為這個加的,修臉那一遍也是。
就算你從不安裝,也值得讀一遍
Openjutsu 真正有意思的主張在架構層面。它認為可信的角色替換是流水線層面的事,換個更強的模型解決不了:追蹤該變的部分,描述它該變成什麼,只生成那一塊,再把修臉和打光當成獨立的兩遍。
這種拆解可以重用。同一套骨架能用在換服裝、產品置入、換背景和本地化上。這些都不需要更好的影片模型,需要的是更好的方案,決定哪些像素被允許移動。
倉庫把方案、清單、節點列表和失敗模式都擺了出來。這個戲法怎麼運作,大多數閉源產品不肯講這麼多。
相關文章
ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口
豆包 Seed-Realtime-1.0 把攝影機畫面、螢幕畫面和語音合成一個全雙工工作階段,每秒最多推兩張影格。有意思的決定是影格率、主動說話,以及預設就開著的審核回覆。
一台 server、一個 AI 主播:夜間直播背後的程式碼
open-yoki 是一個每晚在 Binance Square 直播的 AI 主播的生產程式碼,人格、聲音和跟錢有關的功能都拿掉了。headless Chrome 畫幀,ffmpeg 推 RTMP,一個 Markdown 資料夾決定她的情緒和要發的東西。
Pinky 讓 agent 開你的手機,並且一直按著傳送鍵,直到你按下允許
Pinky 把任何 MCP agent 接到真的 iPhone 或 Android 手機上,審批在自己的閘道裡執行,不寫成 prompt。銀行類 App 對 agent 不可見,密碼欄位碰不到,在 Android 13 上 agent 還能拿到一塊隱藏的第二螢幕。
有人把全世界的法律放進了 git,於是你可以 blame 一條法條
global-law 把每個國家的法令存成一個 git 儲存庫,每次 commit 就是一部在某個已知日期生效的法律。你可以對一條法規跑 log、blame、show 和 diff,查某一天各國在施行什麼法,並透過 MCP 把整份語料交給助理。