把演员放进别人的镜头,用你自己的显卡

能让人记住 Openjutsu 的演示很简单。丢进一段视频,丢进一张人物照片,点 Generate,片子里的主角就变成照片里的人。
真正关键的是下一句:机位、剪辑点、运动和音轨都留在原位。
这条约束把换人和视频生成分开。你没让模型凭空想象一个场景。你要它保留一个已经存在的镜头,连同节奏和声音,只把里面的人换掉。于是每个难点都是连贯性问题,每个连贯性问题都是跟踪问题。
三个模型,一条流水线
Openjutsu 是架在 ComfyUI 工作流上的 Next.js 前端,用 `@comfyorg/sdk` 写成,参照 Comfy 自己的 `comfy-reshoot` 示例。底下三个开源模型干三件不同的事。
MiniMax H3 生成视频。SAM 3.1 在整段片子里跟踪人和物体。Qwen3-VL 8B 看图片和视频帧,写出后来变成提示词的描述。整套跑在你自己的硬件上,权重全开放。
拆开就是设计。让一个模型去「换掉这个人,别的东西别动」,它会顺手把房间重画一遍。活儿分开,跟踪器决定哪里变,描述器决定变成什么,生成器只填指定区域。

四种模式,按野心排
简单动作迁移替换那个占满大部分画面的人。一个角色进,一个角色出,应用跑单换人工作流。
高级动作迁移处理一到四个角色,每个可带一个可选身份设定。每个镜头里被跟踪的人都会匹配到一个角色,没分配的人保持原样。还有个质量更高的变体,只要两个角色时给每个人各跑一遍。
物体替换改的是 SAM 跟踪什么,跟跟踪谁无关。你可以用描述或一张图替换一件外套、一辆车、一头头发,也可以整个删掉,或者只换周围的背景而人不动。只有那块区域会重新生成。
从图片生成是最怪也最有用的模式。FLUX 把你照片里的角色摆成原始视频帧的身体姿态,保留照片的背景。你先审或重生成那张静帧,再确认。视觉描述器看这一段,写出里面发生了什么,动作、手中的东西、表情,再针对准备好的图改写描述。之后才渲染。
还有个 Relight 开关,默认关闭,在同一次 FLUX 处理里改变准备角色身上的光。十七种光效,每种配一张示例图,也能自己描述。另一个独立选项不需要角色照片,直接给视频里原本的人重新打光,适合让某个镜头和它被剪进去的场景对上。
跑起来要什么
一张 NVIDIA 显卡。作者在 RTX 4060 Ti 上测的,16 GB 显存,64 GB 内存,H3 的 int8 模型从内存流式加载,不常驻。这是消费级卡,不是租来的 H100,也是仓库里最让人振奋的数字。
需要 ComfyUI 0.41.2 或更新,核心已自带 MiniMax H3、SAM 3.1 和 TextGenerate。上面还要装一整套自定义节点:`comfyui-h3-oneclick-swap` 管换人与物体方案、人和角色遮罩、灰色人体模型、轨迹标注、剪切点查找、镜头清单和修脸分块;`ComfyUI-MiniMaxH3-Context-Loop` 管片段循环和最终合成;`ComfyUI-H3-FaceRefine` 管人脸跟踪、裁剪、SAM 人脸遮罩和贴回;还有 ControlNet aux、KJNodes、VideoHelperSuite、Impact Pack 和几个更小的。
模型文件同样具体:一个 DMAD 四步 LoRA,int4 的 H3 文本编码器,int8 的 Qwen3-VL 8B 描述器,以及可选的 SolarRenderer 四步 LoRA 一对,给从图片生成那条路用。
Windows 上有个 `start_openjutsu.bat`,会启动代理、给它打实时进度补丁、构建应用并打开页面。手动安装分五步,其中有个冷门修复:启动 ComfyUI 前设好 `AIOHTTP_NOSENDFILE=1`,否则播放器一拖进度条发出的第一个分段请求会卡住 `/view`,之后所有下载都挂着,直到重启。
预检是这个项目最好的想法
任务上传前,Openjutsu 会拿选中的工作流比对 ComfyUI 已注册的节点列表和模型文件列表。缺的节点包带安装链接,缺的模型文件带它该放的目录。
这是个小功能,价值却大得不成比例。大多数 ComfyUI 工作流挂掉时只给你一段堆栈,说某个没人听过的节点类找不到。这个会告诉你 clone 哪个仓库、文件放哪,在你花二十分钟等一次根本不会开始的渲染之前。
它也很直白地写明自己不查什么:Python 依赖、模型完整性、可用显存。这条边界画得诚实。一个声称能查显存的预检,一半时间本来就是错的。
让人不太舒服的地方
换人有很明显的滥用路径,仓库也没装作不是这样。这项技术是在已有素材里替换人脸和身体,本地跑,权重开放,不上传,不打水印。正当用途很多:演员来不了时补拍,用替身做预演,不重拍就换戏服,换个表演者做本地化。不正当的用途,搜一下就有。
实际的防线和所有本地模型一样:工具管不了政策。制片厂有授权书和素材流转规矩。个人手里只有辖区的法律,多数地方的法律落后技术好几年。
对打算真干活的人,还有个技术提醒:跟踪会失败。遮挡、快切、人走出画面、两个穿得很像的人重叠,SAM 3.1 很好,但不完美,坏轨迹上的换人结果和你预想的一样,角色在镜头中途从身上滑开。高级模式的逐镜头角色匹配就是为这个加的,修脸那一遍也是。
就算你从不安装,也值得读一遍
Openjutsu 真正有意思的主张在架构层面。它认为可信的角色替换是流水线层面的事,换个更强的模型解决不了:跟踪该变的部分,描述它该变成什么,只生成那一块,再把修脸和打光当成独立两遍。
这种拆解可以复用。同一套骨架能用在换服装、产品植入、换背景和本地化上。这些都不需要更好的视频模型,需要的是更好的方案,决定哪些像素被允许移动。
仓库把方案、清单、节点列表和失败模式都摆了出来。这个戏法怎么运作,大多数闭源产品不肯讲这么多。
相关文章
「宿命感拉满的橘子海剪影」:一句提示词把情绪拆成了参数
11 月 19 日到 20 日,小红书和抖音同时刷起「橘子海剪影」。点进去会发现多数人并没有站在落日下,他们把自己的一张照片交给豆包,出来的是一张 3:4 竖版情绪海报。这套氛围被拆成了十几个写得明明白白的参数。
ByteDance 的 SeedRealtime 每秒只取两帧,再自己决定什么时候开口
豆包 Seed-Realtime-1.0 把摄像头画面、屏幕画面和语音合成一个全双工会话,每秒最多推两帧。有意思的决定是帧率、主动说话,以及默认就开着的审核回复。
Cicada 直接听会议的系统音频,会议室里没有机器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免费应用,从系统音频里写出双语字幕和结构化会议笔记。按住一个键,你能用自己克隆出来的声音,把回复用另一种语言说出去。整个过程里没有机器人加入通话。
一台 server、一个 AI 主播:夜间直播背后的代码
open-yoki 是一个每晚在 Binance Square 直播的 AI 主播的生产代码,人格、声音和跟钱有关的功能都拿掉了。headless Chrome 画帧,ffmpeg 推 RTMP,一个 Markdown 文件夹决定她的情绪和要发的东西。