← 返回博客
Ai预计阅读 9 分钟

Pika H3 Flex:把 50 步压到 6 步,画面和声音一起出

发布于 2026年11月2日
Pika H3 Flex:把 50 步压到 6 步,画面和声音一起出

50 步去噪是个行业外的人不该操心的数字。但它悄悄决定了,一个视频模型是演示品,还是工具。

Pika 的新发布就建立在这个数字上。Pika H3 Flex 拿 MiniMax 的 H3 模型做微调,用投影分布匹配蒸馏把老师的 50 步压到 6 步,然后把 adapter 权重和推理代码一起放出来。六步,画面和声音一起出。

最后这点值得强调。大多数“音视频”模型是先出一段画面,再配一条大致对得上的音轨。联合生成意味着音频和帧在同一个循环里去噪,于是一声关门和那一下缩肩是同一个事件,而不是碰巧对上的两件事。

开源的到底是什么

两个 LoRA adapter。一个处理文本和首尾帧条件,另一个处理多模态参考输入。旁边还有 Pika 放出的 MiniMax H3 基础组件和本地推理工具,外加一个 ComfyUI 工作流和一条 Hugging Face Diffusers 的路径。

原生输出是 480P 或 768P,5 到 15 秒,带同步立体声音频。听着不多,直到你看 API 加了什么:1080P、2K 和 4K 增强,以及把生成音轨拆成五条的音轨分离——对白、音乐、音效、拟音和环境声。

A glass panel etched with an audio waveform standing beside a strip of 35mm film

音轨分离是我真愿意花钱的功能。试过把生成视频放进真实剪辑的人都知道问题在哪:音频是一整块,分不开。你没法在人声下面把音乐压下去,没法把对白换成另一种语言,也没法去掉环境声,因为它和下一镜的房间底噪打架。五条轨,把一个生成片段变成了素材。

预期的工作流也由此而来:低分辨率出片,挑中你想要的那条,再增强。草稿便宜,成品贵。电影制作的其它环节本来就是这么干的,看到一个模型厂商承认这点,而不是假装每次生成都该是最终渲染,挺好。

速度数字,放在语境里

Pika 也公布了托管推理的优化结果。8 张 NVIDIA B300,权重和六步采样器不变,生成一段 5 秒 768P 带音频的片段,从 3.409 秒降到 2.129 秒,横跨条件编码、去噪和解码。大约 1.6 倍。

1.6 倍的工程收益不是头条。但当你一天跑几百万条草稿的时候,正是这种数字决定单位经济;而且他们给的是前后对比,不是对着一个没说清的基线报个百分比,这让人舒服。

质量方面的说法就没那么好验证了。Pika 说 H3 Flex 在它对比的模型里,五项视觉和音频质量指标都拿了最高;在 DesignArena 的文生视频榜上排第八,是那里排名最高的开源视频模型。厂商自己做的对比就是厂商自己做的对比。DesignArena 的排名是更有用的信号,因为那是陌生人不看架构盲投出来的。

怎么给一个能听见自己的模型写 prompt

音视频联合生成会改变 prompt 策略,这点不试一下不太明显。如果你只描述画面,模型会自己编一套声音来配,而且通常挑最通用的:房间底噪、远处的警笛、一片说不清的嗡嗡声。

所以把声音写出来。给每一个你想要的声音点名来源,更重要的是,点名什么该安静。“第二秒有一声关门,没有音乐,没有鸟叫”能出可用的东西。“门口一场紧张戏”出来的是库存音效式的紧张,那还不如安静。

对白要短,而且要放前面。模型只有 5 到 15 秒,一句吃掉九秒的台词,就没地方留给你真正想要的那个反应镜头了。如果一句台词比画面更重要,单独生成一条,剪进去。

还有,把第一次生成当音频测试,不是画面测试。一段光线平庸但拟音完美的片子,比一个漂亮镜头里脚步声晚半秒有用。

H3 为什么正在变成底座

Pika 发布的两天前,NVIDIA 和 MIT 的一个团队放出了 Open-H3-Regenerate-2K,一个把低分辨率草稿重生成到 2K 的开源实现,支持 4K 原生重生成,报告说单张 B200 预热后有 3.9 倍加速。

两个互不相干的团队,一周之内,都基于同一个中国基座模型,往相反方向做:一个压采样循环,一个加分辨率。这就是底座的样子。没人在争谁的基座模型赢,大家在争的是它上面那层归谁。

对创作者来说,实际后果是“用哪个模型”这个问题越来越没意思。如果强的开源底座是共享的,差异化就移到 adapter、工作流,和 API 在上面加的东西——在这个例子里是分辨率和音轨。

还难的地方

5 到 15 秒很短。够一个镜头,不够一场戏。这一类模型都还在同样的三件事上挣扎:手做细活、表面上的文字、以及切镜之间的连贯。这次发布没有任何一句声称解决了它们,这点我欣赏。

如果你交付的东西要上比手机屏更大的地方,768P 原生也是实打实的限制。2K 和 4K 那条路存在,但要走 Pika 的 API,也就是说开源权重给你草稿,付费服务给你成品。这是商业模式,不是背叛,但它确实意味着这里的“开放”是“开放到足够评估、足够在其上构建”。

还有,六步蒸馏有个容易忽略的代价。步数少,采样器探索的空间就小。蒸馏模型往往在它被蒸馏的那个分布上极好,出了那个分布就有点脆——奇怪的画幅比例、密集的 prompt 约束、不太在分布内的参考图。如果你的活儿很常规,你永远注意不到。如果你的活儿很怪,你会。

怎么试

如果你有 ComfyUI 在跑,工作流文件是最快的路:加载,指向 adapter,768P 生成,听声音。先判断同步,不是先看画面。口型和撞击声,是联合生成行或不行的分水岭。

如果你用 Diffusers,管线是常规的,adapter 合进底座,推理时不用多付步数。注意参考图大概会拉长生成时间,因为它的 token 和文本、目标进的是同一个序列。

然后拿一条你真喜欢的片段,过一遍 API 做音轨分离。那一刻这工具就不再是玩具了。能把音乐静音、留下拟音、换一条别的语言的人声,这就是“AI 生成的”和“我能用”的区别。

这次发布在低声说的话

两年里,卖点都是更大的模型。Pika 这里的卖点是更小的采样循环、开放的 adapter,和一层尊重剪辑真实工作方式的后处理。

这个故事没那么激动人心,但它是那种能扛住 deadline 的故事。六步不是营销数字。它是在说,瓶颈已经从“它能不能生成”挪到了“我付不付得起反复迭代”,而终于有人给这个答案定了价。

相关文章