Prism：一个开源 2K 音视频模型，和它要的 80GB 显卡

开源视频模型最近几个月很忙,最新一个到来者做出了一个具体的承诺:一次生成、原生 2K 输出并带音频,权重公开。这个模型叫 Prism,来自腾讯混元团队与复旦大学的研究者。它是一个图生视频工具,同时处理声音与画面,而且没什么仪式感地就来了。它还要求大多数人没有的硬件。

关于 Prism 有两个事实值得放在一起。第一,一个能产出 2K 同步音频视频并公开发布的模型是真实的一步。第二,据称它的 720p 档位需要一张 80GB 级别的显卡。第二个事实决定了谁真能用上它。

好问题和坏问题

多年来,开源视频的约束在质量上。开源模型落后于闭源服务,所以即使你有硬件,本地跑也没多大意义。这个差距今年收窄得很快。今年有几个开源发布产出的结果好到能用于真实工作,而 Prism 推进到原生 2K 带音频,是质量之争基本尘埃落定的最新证据。

没有尘埃落定的是可及性。80GB 显卡是数据中心部件,它把大多数开发者和工作室真正拥有的消费级显卡排除在外。所以一个模型可以同时「开源」又「够不着」,开放权重不改变电费,也不改变你租不到一张你没有的卡这件事。这是开源视频时刻尴尬的中段:许可证是免费的,硬件不是。

{{INLINE1}}

原生 2K 带音频不是小事

在同一模型里同时生成画面和声音比只生成其一更难。让关门与其闷响落在同一帧、让嘴型与语音对齐,需要两条流在每一步都保持同步。在 2K 而非常规先低分辨率再放大的情况下做到这一点,才是技术主张所在。这区别在于一个把场景理解为一件事的模型,和一条把两个输出缝起来的流水线。

这就是为什么这个发布即使对永远不会运行它的人也有意义。联合音视频生成上的进展为之上的一切设定了天花板,包括最终会封装 Prism 或类似物的托管服务。开源发布一半是研究贡献,一半是在一个快速变化的领域里插旗。

把预览当成预览

有一个值得直说的提醒。Prism 是以预览形式发布的,没有盛大的宣布,而且它的一些演示片被密切观察的人提出了疑问。当一个模型这么早、对硬件要求又这么高时,独立验证在定义上就是稀薄的。这不是指控,只是对这种尚未被外部复现的亮眼主张应持有的谨慎量。

预览有一个值得点名的特定失效模式。它们带着足够令人印象深刻的能力发布,但行为可能在版本之间无预警地改变,这让它们成了任何需要稳定性的东西的不良基础。在预览上做产品意味着接受后来的更新可能悄悄改变你的输出。用于探索没问题,用于客户交付就是要计入价格的风险。

合理的姿态是把预览当成对即将到来之物的一种信号,测试它,等稳定版再承诺。开源视频领域移动得够快,等几周很少代价太大,而这能避免上个月令人印象深刻的演示在静默更新后产出不同结果的情况。演示片是承诺,稳定版是交付。

与托管服务相比处于什么位置

Prism 不是在和一个聊天窗口竞争。现实的比较对象是那些已经产出 2K 或 4K、提供干净界面、按秒收费的托管视频服务。与它们相比,开源模型提供一种不同的取舍。你得到权重、无需把素材发给第三方就能运行的能力,以及改造模型的自由。你放弃别人替你管理硬件的便利,并承担非常真实的算力成本。

对大多数小团队来说,托管路线在总成本上仍然胜出,因为按分钟租卡比拥有一张闲置的卡便宜。开源模型对更窄的一群人重要:需要改造模型的研究者、有特殊隐私要求的工作室,以及想把生成集成进流水线、中间不想有个按次收费的供应商的开发者。对他们来说,硬件要求是障碍而不是断点,而许可证自由值得这份麻烦。

无论如何,开源的意义

人们很容易轻视一个跑不了的模型。那会是错的。开源发布设定了所有人都能搭建的地板,也给研究者一个改进的靶子。当一个具备原生 2K 音视频生成的模型被发布时,下一个开源发布就得越过那道杠,而建立在其上的服务会继承这些进步。生态系统甚至为那些从不碰权重的人前进。

还有一个韧性论据,过去一年把它变得具体。建立在托管模型上的团队,吃够了当供应商决定关停一项服务时的苦头。开放权重不保证你能运行它们,但保证你手上有东西可运行,而这是很多团队如今视为必要的对冲。Prism 是这个论据里的一个数据点,而这个论据正变得越来越响。

80GB 的鸿沟真正在说什么

开源视频里的分界正从质量转向对算力的占有。随着模型变好,谁能运行它们的问题变得更尖锐,而「开源」开始意味着更接近「向有机器的人开放」。对一个庆祝了两年开放权重是一种民主化的领域来说,这是一个真实的张力。Prism 是个好的观察样本,因为它正坐在断层线上:真开源、真能干,也真被硬件卡住。

近期最可能的答案是托管推理。平台会出租对这类模型的访问,这恢复了触达,却重新引入了开放权重本应消除的依赖。Prism 本身是预览,所以最终故事还没写完。但它已经展现了开源视频下一场争论的形态:不是模型行不行,而是谁有权把它们打开。