← 返回博客
Ai预计阅读 8 分钟

把演员放进别人的镜头,用你自己的显卡

发布于 2026年11月13日
把演员放进别人的镜头,用你自己的显卡

能让人记住 Openjutsu 的演示很简单。丢进一段视频,丢进一张人物照片,点 Generate,片子里的主角就变成照片里的人。

真正关键的是下一句:机位、剪辑点、运动和音轨都留在原位。

这条约束把换人和视频生成分开。你没让模型凭空想象一个场景。你要它保留一个已经存在的镜头,连同节奏和声音,只把里面的人换掉。于是每个难点都是连贯性问题,每个连贯性问题都是跟踪问题。

三个模型,一条流水线

Openjutsu 是架在 ComfyUI 工作流上的 Next.js 前端,用 `@comfyorg/sdk` 写成,参照 Comfy 自己的 `comfy-reshoot` 示例。底下三个开源模型干三件不同的事。

MiniMax H3 生成视频。SAM 3.1 在整段片子里跟踪人和物体。Qwen3-VL 8B 看图片和视频帧,写出后来变成提示词的描述。整套跑在你自己的硬件上,权重全开放。

拆开就是设计。让一个模型去「换掉这个人,别的东西别动」,它会顺手把房间重画一遍。活儿分开,跟踪器决定哪里变,描述器决定变成什么,生成器只填指定区域。

三个一模一样的灰色人体模特并排站着,最右边那个被涂上颜色并穿上了衣服

四种模式,按野心排

简单动作迁移替换那个占满大部分画面的人。一个角色进,一个角色出,应用跑单换人工作流。

高级动作迁移处理一到四个角色,每个可带一个可选身份设定。每个镜头里被跟踪的人都会匹配到一个角色,没分配的人保持原样。还有个质量更高的变体,只要两个角色时给每个人各跑一遍。

物体替换改的是 SAM 跟踪什么,跟跟踪谁无关。你可以用描述或一张图替换一件外套、一辆车、一头头发,也可以整个删掉,或者只换周围的背景而人不动。只有那块区域会重新生成。

从图片生成是最怪也最有用的模式。FLUX 把你照片里的角色摆成原始视频帧的身体姿态,保留照片的背景。你先审或重生成那张静帧,再确认。视觉描述器看这一段,写出里面发生了什么,动作、手中的东西、表情,再针对准备好的图改写描述。之后才渲染。

还有个 Relight 开关,默认关闭,在同一次 FLUX 处理里改变准备角色身上的光。十七种光效,每种配一张示例图,也能自己描述。另一个独立选项不需要角色照片,直接给视频里原本的人重新打光,适合让某个镜头和它被剪进去的场景对上。

跑起来要什么

一张 NVIDIA 显卡。作者在 RTX 4060 Ti 上测的,16 GB 显存,64 GB 内存,H3 的 int8 模型从内存流式加载,不常驻。这是消费级卡,不是租来的 H100,也是仓库里最让人振奋的数字。

需要 ComfyUI 0.41.2 或更新,核心已自带 MiniMax H3、SAM 3.1 和 TextGenerate。上面还要装一整套自定义节点:`comfyui-h3-oneclick-swap` 管换人与物体方案、人和角色遮罩、灰色人体模型、轨迹标注、剪切点查找、镜头清单和修脸分块;`ComfyUI-MiniMaxH3-Context-Loop` 管片段循环和最终合成;`ComfyUI-H3-FaceRefine` 管人脸跟踪、裁剪、SAM 人脸遮罩和贴回;还有 ControlNet aux、KJNodes、VideoHelperSuite、Impact Pack 和几个更小的。

模型文件同样具体:一个 DMAD 四步 LoRA,int4 的 H3 文本编码器,int8 的 Qwen3-VL 8B 描述器,以及可选的 SolarRenderer 四步 LoRA 一对,给从图片生成那条路用。

Windows 上有个 `start_openjutsu.bat`,会启动代理、给它打实时进度补丁、构建应用并打开页面。手动安装分五步,其中有个冷门修复:启动 ComfyUI 前设好 `AIOHTTP_NOSENDFILE=1`,否则播放器一拖进度条发出的第一个分段请求会卡住 `/view`,之后所有下载都挂着,直到重启。

预检是这个项目最好的想法

任务上传前,Openjutsu 会拿选中的工作流比对 ComfyUI 已注册的节点列表和模型文件列表。缺的节点包带安装链接,缺的模型文件带它该放的目录。

这是个小功能,价值却大得不成比例。大多数 ComfyUI 工作流挂掉时只给你一段堆栈,说某个没人听过的节点类找不到。这个会告诉你 clone 哪个仓库、文件放哪,在你花二十分钟等一次根本不会开始的渲染之前。

它也很直白地写明自己不查什么:Python 依赖、模型完整性、可用显存。这条边界画得诚实。一个声称能查显存的预检,一半时间本来就是错的。

让人不太舒服的地方

换人有很明显的滥用路径,仓库也没装作不是这样。这项技术是在已有素材里替换人脸和身体,本地跑,权重开放,不上传,不打水印。正当用途很多:演员来不了时补拍,用替身做预演,不重拍就换戏服,换个表演者做本地化。不正当的用途,搜一下就有。

实际的防线和所有本地模型一样:工具管不了政策。制片厂有授权书和素材流转规矩。个人手里只有辖区的法律,多数地方的法律落后技术好几年。

对打算真干活的人,还有个技术提醒:跟踪会失败。遮挡、快切、人走出画面、两个穿得很像的人重叠,SAM 3.1 很好,但不完美,坏轨迹上的换人结果和你预想的一样,角色在镜头中途从身上滑开。高级模式的逐镜头角色匹配就是为这个加的,修脸那一遍也是。

就算你从不安装,也值得读一遍

Openjutsu 真正有意思的主张在架构层面。它认为可信的角色替换是流水线层面的事,换个更强的模型解决不了:跟踪该变的部分,描述它该变成什么,只生成那一块,再把修脸和打光当成独立两遍。

这种拆解可以复用。同一套骨架能用在换服装、产品植入、换背景和本地化上。这些都不需要更好的视频模型,需要的是更好的方案,决定哪些像素被允许移动。

仓库把方案、清单、节点列表和失败模式都摆了出来。这个戏法怎么运作,大多数闭源产品不肯讲这么多。

相关文章