Pika H3 Flex:把 50 步压到 6 步,画面和声音一起出

50 步去噪是个行业外的人不该操心的数字。但它悄悄决定了,一个视频模型是演示品,还是工具。
Pika 的新发布就建立在这个数字上。Pika H3 Flex 拿 MiniMax 的 H3 模型做微调,用投影分布匹配蒸馏把老师的 50 步压到 6 步,然后把 adapter 权重和推理代码一起放出来。六步,画面和声音一起出。
最后这点值得强调。大多数“音视频”模型是先出一段画面,再配一条大致对得上的音轨。联合生成意味着音频和帧在同一个循环里去噪,于是一声关门和那一下缩肩是同一个事件,而不是碰巧对上的两件事。
开源的到底是什么
两个 LoRA adapter。一个处理文本和首尾帧条件,另一个处理多模态参考输入。旁边还有 Pika 放出的 MiniMax H3 基础组件和本地推理工具,外加一个 ComfyUI 工作流和一条 Hugging Face Diffusers 的路径。
原生输出是 480P 或 768P,5 到 15 秒,带同步立体声音频。听着不多,直到你看 API 加了什么:1080P、2K 和 4K 增强,以及把生成音轨拆成五条的音轨分离——对白、音乐、音效、拟音和环境声。

音轨分离是我真愿意花钱的功能。试过把生成视频放进真实剪辑的人都知道问题在哪:音频是一整块,分不开。你没法在人声下面把音乐压下去,没法把对白换成另一种语言,也没法去掉环境声,因为它和下一镜的房间底噪打架。五条轨,把一个生成片段变成了素材。
预期的工作流也由此而来:低分辨率出片,挑中你想要的那条,再增强。草稿便宜,成品贵。电影制作的其它环节本来就是这么干的,看到一个模型厂商承认这点,而不是假装每次生成都该是最终渲染,挺好。
速度数字,放在语境里
Pika 也公布了托管推理的优化结果。8 张 NVIDIA B300,权重和六步采样器不变,生成一段 5 秒 768P 带音频的片段,从 3.409 秒降到 2.129 秒,横跨条件编码、去噪和解码。大约 1.6 倍。
1.6 倍的工程收益不是头条。但当你一天跑几百万条草稿的时候,正是这种数字决定单位经济;而且他们给的是前后对比,不是对着一个没说清的基线报个百分比,这让人舒服。
质量方面的说法就没那么好验证了。Pika 说 H3 Flex 在它对比的模型里,五项视觉和音频质量指标都拿了最高;在 DesignArena 的文生视频榜上排第八,是那里排名最高的开源视频模型。厂商自己做的对比就是厂商自己做的对比。DesignArena 的排名是更有用的信号,因为那是陌生人不看架构盲投出来的。
怎么给一个能听见自己的模型写 prompt
音视频联合生成会改变 prompt 策略,这点不试一下不太明显。如果你只描述画面,模型会自己编一套声音来配,而且通常挑最通用的:房间底噪、远处的警笛、一片说不清的嗡嗡声。
所以把声音写出来。给每一个你想要的声音点名来源,更重要的是,点名什么该安静。“第二秒有一声关门,没有音乐,没有鸟叫”能出可用的东西。“门口一场紧张戏”出来的是库存音效式的紧张,那还不如安静。
对白要短,而且要放前面。模型只有 5 到 15 秒,一句吃掉九秒的台词,就没地方留给你真正想要的那个反应镜头了。如果一句台词比画面更重要,单独生成一条,剪进去。
还有,把第一次生成当音频测试,不是画面测试。一段光线平庸但拟音完美的片子,比一个漂亮镜头里脚步声晚半秒有用。
H3 为什么正在变成底座
Pika 发布的两天前,NVIDIA 和 MIT 的一个团队放出了 Open-H3-Regenerate-2K,一个把低分辨率草稿重生成到 2K 的开源实现,支持 4K 原生重生成,报告说单张 B200 预热后有 3.9 倍加速。
两个互不相干的团队,一周之内,都基于同一个中国基座模型,往相反方向做:一个压采样循环,一个加分辨率。这就是底座的样子。没人在争谁的基座模型赢,大家在争的是它上面那层归谁。
对创作者来说,实际后果是“用哪个模型”这个问题越来越没意思。如果强的开源底座是共享的,差异化就移到 adapter、工作流,和 API 在上面加的东西——在这个例子里是分辨率和音轨。
还难的地方
5 到 15 秒很短。够一个镜头,不够一场戏。这一类模型都还在同样的三件事上挣扎:手做细活、表面上的文字、以及切镜之间的连贯。这次发布没有任何一句声称解决了它们,这点我欣赏。
如果你交付的东西要上比手机屏更大的地方,768P 原生也是实打实的限制。2K 和 4K 那条路存在,但要走 Pika 的 API,也就是说开源权重给你草稿,付费服务给你成品。这是商业模式,不是背叛,但它确实意味着这里的“开放”是“开放到足够评估、足够在其上构建”。
还有,六步蒸馏有个容易忽略的代价。步数少,采样器探索的空间就小。蒸馏模型往往在它被蒸馏的那个分布上极好,出了那个分布就有点脆——奇怪的画幅比例、密集的 prompt 约束、不太在分布内的参考图。如果你的活儿很常规,你永远注意不到。如果你的活儿很怪,你会。
怎么试
如果你有 ComfyUI 在跑,工作流文件是最快的路:加载,指向 adapter,768P 生成,听声音。先判断同步,不是先看画面。口型和撞击声,是联合生成行或不行的分水岭。
如果你用 Diffusers,管线是常规的,adapter 合进底座,推理时不用多付步数。注意参考图大概会拉长生成时间,因为它的 token 和文本、目标进的是同一个序列。
然后拿一条你真喜欢的片段,过一遍 API 做音轨分离。那一刻这工具就不再是玩具了。能把音乐静音、留下拟音、换一条别的语言的人声,这就是“AI 生成的”和“我能用”的区别。
这次发布在低声说的话
两年里,卖点都是更大的模型。Pika 这里的卖点是更小的采样循环、开放的 adapter,和一层尊重剪辑真实工作方式的后处理。
这个故事没那么激动人心,但它是那种能扛住 deadline 的故事。六步不是营销数字。它是在说,瓶颈已经从“它能不能生成”挪到了“我付不付得起反复迭代”,而终于有人给这个答案定了价。
相关文章
微信输入法加了 AI 录音:功能不新,位置是新的
微信输入法把录音做进了键盘:录完给你一个整理过的网页,而不是一墙文字。功能本身不新鲜,厉害的是它出现的位置。
Scenes AI:一张 RTX 5090,实时把办公室变成草原
Dawa 的 Scenes AI 在一张消费级显卡上实时改造真实房间,声称连续两小时不漂移。它真正的底牌不是模型,是那个拍了五年戏的摄影棚。
Superpowers:31 万星的 Markdown,教 agent 先别写代码
Superpowers 用一组 skill 让 agent 先问清楚要做什么,再写一份细到新手也能照做的计划。三十万星背后,是流程比模型更稀缺的那个时刻。
ThinkRail:JetBrains 用 git worktree 把并行 agent 隔开
ThinkRail 给每个 agent 一个独立 worktree 和分支,谁都不碰你的 checkout。JetBrains 这次加的不是聊天面板,是让并行 agent 不互相踩的那套管道。