← 返回博客
Ai预计阅读 9 分钟

英伟达把 H3 的高清重生成开源了:能上 4K,还比官方接口好看一点

发布于 2026年11月1日
英伟达把 H3 的高清重生成开源了:能上 4K,还比官方接口好看一点

十月的最后一周,Hugging Face 上多了一个叫 Open-H3-Regenerate-2K 的模型权重。名字拗口,来源很硬:英伟达和麻省理工合组的 Efficient-Large-Model 团队,推理代码放在 NVlabs/Sana 仓库里。

它干的事,一句话讲完:拿一段低分辨率的视频草稿,重新生成成高清版本。支持 2560×1440,往上能到 3840×2160。前提是,草稿得由 MiniMax 的 H3 生成。

这条消息在国内的传播方式和海外不太一样。海外讨论的是又一个开源权重的出现,国内 B 站上吵的是另一件事:一致性怎么保住。十月底一条讲 Z-Image 配 Wan2.2 的 ComfyUI 教程拿到当天最高分,评论区问的都是"人物会不会变脸""前后镜头接不接得上"。大家真正焦虑的不是画质高低,而是一段片子里的人,还是不是同一个人。

H3 这条流水线,本来断在最后一环

MiniMax H3 是今年 8 月开的权重。官方把整套系统拆成三段:多模态上下文处理、基础音视频生成、高分辨率重生成。开放的只有第一段和第二段里的 H3-Base,负责出 768P 的音视频。第三段,也就是把 768P 拉到 2K 的 H3-Regenerate-2K,一直只通过 API 提供。

这条分工其实很合理。生成模型管"有什么",细化模型管"多清楚"。问题是,一旦最后一环只有 API,本地创作者的工作流就卡在那里:你可以用本地显卡跑到 768P,但想要一张能上大屏的成片,就得把素材传上去,按次付费,还得接受对方服务器的排队。

英伟达和 MIT 这次做的,就是把这一环补上。他们没动 H3 的主干,也没动视频 VAE,参数全部冻结,只训练新增的一层细化 LoRA,大约等于给原来的模型加了一副眼镜。推理的时候,这层 LoRA 和社区现成的适配器合并使用,比如 LightX2V 的 FL2VA Turbo、LMS Sharp,然后只跑三步去噪,在目标分辨率下把细节重新长出来。草稿里的场景、构图、运动轨迹都保留,被替换的只有清晰度。

装在工作站里的显卡与液冷管路特写,蓝绿色环境光

3.9 倍是怎么算出来的

开源社区做高清修复,最怕的不是效果差,是慢到没法用。团队公布的测试条件是单张 B200,预热之后跑一段 5 秒的视频,把潜空间放大、三步细化、2K 解码三段加起来:未优化的实现要 87.26 秒,优化后 22.45 秒。差不多 3.9 倍。

提速主要来自两处。一是潜空间放大器,社区做的,直接放大视频的潜表示,省掉了高分辨率下反复解码再编码的开销。二是解码器,换了快速的 VAE 解码,单这一步从大约 15 秒降到 1.6 秒。另外还叠了 SoL-Engine 的稀疏注意力和低精度计算。

这个数字的意义,得放在具体场景里看。做一条 30 秒的短片,按 6 段 5 秒算,22 秒一段就是两分多钟的重生成时间,还没算排队和失败重跑。以前这套流程得跑十几分钟,中间你还不敢切窗口。现在至少能一边跑一边干别的。

当然,B200 不是普通人的卡。消费级显卡上跑同样的流程,时间要乘以好几倍。官方没有给 4090 或 5090 的数据,这一点得自己试。

分数比官方接口高,但高的地方很具体

团队在 RefinerBench-150 上做了对比,输入相同、输出都是 2K。感知质量评测 UniPercept 上,这个开源版本平均 60.0,官方 H3-Regenerate-2K 的 API 是 53.4。差了 6.6 分。

VBench 那边的结论更有意思:美学质量、成像质量、主体一致性三项,开源版更高;运动平滑度和动态程度,官方 API 略胜。翻成大白话,开源版把每一帧修得更"好看"、更"稳",但代价是动作可能被修得保守了一点。对于口播、产品展示、纪录片素材这类以静态构图为主的镜头,这是赚的;对于打斗、舞蹈、快速运镜,可能就不划算。

还有一件事值得注意:主体一致性的分数更高。这正好命中中文社区最关心的那个点。重生成最容易翻车的地方就是人脸和衣服纹理,一帧一帧修,修到最后主角换了个人。这次的数据说明,至少在 2K 这一档,细化过程对身份的保持是加分的。

它的位置:不是新模型,是流水线的补丁

要理解这个东西的价值,最好别把它当模型看。它是一个中间件。

过去一年,视频生成的进步主要发生在"能不能生成"和"生成得多长"上。现在这两件事的边际收益在下降,瓶颈挪到了后面:草稿出来之后怎么办。业内的通行做法是先用便宜快速的方式出低分辨率草稿,确认分镜、节奏、人物都对,再把定稿的镜头送去高清化。这个"送去高清化"的环节,以前是付费 API 或者手动超分,现在有了一个可以自己部署的开源实现。

对独立创作者,这意味着成本结构变了:一次性买卡,之后按电费算。对小团队,这意味着可以把高清化排进夜间批处理,第二天早上收片。对平台方,这意味着不必再为每一次重生成付一笔过路费。

但它不是免费的午餐。跑它得有 H3-Base 的权重,得接受 768P 草稿的质量上限,还得有能扛住 2K 解码的显存。草稿如果本身构图错了、人物错了,重生成只会把错误修得更清晰。

生态已经跑在模型前面

H3 八月开源之后,一个月下载量超过 2400 万次,公开的衍生模型 300 多个,是今年下载量最高的模型之一。围绕它的工具链长得很快:LightX2V 出了四步和八步的 Turbo 蒸馏版,社区微调版 Singularity 专门调动作、面部和风格,FastVideo 做了四步的 FastH3 预览,Pika 出了六步采样的 H3 Flex,ComfyUI 和 Unsloth 各自做了适配和量化。

英伟达和 MIT 这个团队自己也没停:除了这次的视频增强,他们还发了基于 H3 Ref2VA 的流式渲染模型 StreamRender-H3,以及从 H3 视频 VAE 蒸馏出来的快速解码器 Sol-H3-VAE。

这种"基础模型开放、上层模块被外部团队一个个补齐"的节奏,其实是开源视频生态第一次跑通。它带来一个副作用:官方 API 的相对优势在缩小。当你可以在本地用三步去噪拿到更高的感知分,付费的理由就从"效果更好"变成了"省事"。

要不要试

如果你已经在用 H3 出片,这个仓库值得拉下来跑一遍,重点看两件事:你的素材在 2K 下的主体一致性,以及你的卡能不能在可接受的时间里完成解码。如果你只是偶尔生成几条短片,官方 API 依然更省心,22 秒的重生成时间在云端是别人替你等的。

真正该关注的是方向。视频生成正在从"一次成片"变成"草稿加精修"的两段式工程,而精修这一段,现在有了开源选项。接下来半年,决定一个创作者产出效率的,可能不是他用哪个模型生成,而是他的后处理流水线排得多顺。

相关文章