← 返回博客
Ai预计阅读 9 分钟

PAN 2 放开权重,一个消融实验把整个设计讲清楚了

发布于 2026年11月15日
PAN 2 放开权重,一个消融实验把整个设计讲清楚了

11 月 10 日,MBZUAI 基础模型研究所以 Apache 2.0 协议放出了 PAN 2 的权重、训练代码和推理代码。愿意连训练代码一起开源的世界模型不多,新闻稿也拿这一点做文章。真正该读的是技术博客,因为里面有一个消融实验,它把整个系统的定位重新讲了一遍。

给 PAN 2 一张起始画面,再用文字描述一个动作,它会输出最长 20 秒的视频,演给你看接下来发生了什么。重点是这条序列得构成一条说得通的物理因果链,这是另一件难得多的事,画质倒不是重点。

两个推理器,一份 checkpoint

架构是 IFM 所说的 Generative Latent Prediction,它把工作拆成两半。

一个多模态语言模型读起始图像和指定动作,写出一段带时间戳的结构化描述,说明世界接下来处在什么状态。谁在动。什么时候动。镜头怎么走。这份描述是 JSON,不是散文,这点很关键,因为它变成了一个可以被检查的接口。

一个 29B 参数的多模态扩散 transformer 负责补上语言没有说清的部分。它从零开始训练,素材按物理动态来挑,不看画面好不好看。接触。形变。浪头碎掉的方式。一个冻结的 Qwen3.5-9B 文本编码器做条件,Wan 2.2 的 VAE 负责解码帧。

放出的 checkpoint 同时支持文生视频和图生视频。默认 704×1248、24 帧每秒、50 步采样、CFG 2.5,最长 20 秒。镜头运动和主体运动分开描述,视角一变,画面才不至于散掉。

IFM 默认的规划器是 Kimi K3。在 Physics-IQ Verified 的榜单配置里,他们拿 Claude Opus 5.5 当概念推理器。这个细节值得记住,因为它意味着那个头条分数有部分是别人家语言模型的成绩。

消融实验才是重点

下面这张表比榜单名次更该被引用。

把概念推理这一步去掉,把动作直接喂给扩散模型,多步计划完成率从 34.0% 掉到 0.0%。单步完成率从 75.1% 掉到 8.7%。

把提示词改写成同样的结构化格式,但只保留表面格式,完整计划完成率回到 27.8%。所以价值的大头在推理里,格式里只剩一点,结构本身再占一点。

换句话说。没有一个决定谁在什么时候做什么的规划器,这个视频模型压根完不成多步任务。差都算客气,完成率是零。这个被当作视频生成器来卖的东西,更像一台接在调度器上的渲染器,物理推理住在调度器那一侧。

深色台面上摊开的机械擒纵机构,擒纵轮少了一齿,整组齿轮因此停住不动。

这个框架也解释了 IFM 自己承认的失败模式。大约每三个模拟计划里就有两个至少漏掉一步。三个成一个。模型卡还写了一个具体现象:模拟有时会跳过某个必要的物理步骤,却仍然朝要求的结果推进。一个看着可信的结尾帧,能盖住断掉的序列。只看最后一秒,你就会信。

它站在什么位置

100 个日常任务上的多步计划,完整计划完成率:

模型完整计划完成率
PAN 234.00%
MiniMax-H332.50%
FLUX 326.77%
Seedance 2.524.49%

在 IFM 用来衡量物理智能的六个维度上,也就是物理一致性、因果连贯性、实体持续性、约束满足、视角不变性和目标动力学,PAN 2 总分 84.48。MiniMax-H3 是 87.20。所以 PAN 2 在完成整个计划上领先,在计划内部的单项能力上落后,这个形状很奇怪,也很具体。它更擅长让一段序列不跑偏,而不是把其中任何一帧做好。

Physics-IQ Verified 上 PAN 2 得 49.38,规划器用 Opus 5.5。这是开放权重里的最好成绩,高过 Cosmos 3 Super 的 48.62,低于闭源的 FLUX 3 的 51.11。PhyGround 4.74,RBench 57.04。在一次针对动作遵循、物理合理性和世界一致性的盲测人评里,PAN 2 在四个被测开放模型里排第二。

以上数字都来自 IFM 自己的报告。公开榜单的设置由作者自己报,这是常规做法,也是常规的保留意见。

怎么装

权重在 Hugging Face 的 IFM/PAN2。代码在 ifm-ai/PAN2,安全过滤器单独放在 ifm-ai/pan2-guardrail 仓库,IFM 强烈建议一起跑。Diffusers 和 vLLM-Omni 在发布当天就能用。

算力门槛不低,文档也没藏着。每个推理 worker 都要装完整的 29B 模型,再分走一部分提示词,所以多加 GPU 买到的是并发,单次请求不会因此变快。offload 选项会在 CPU 内存和 GPU 之间搬 block,能帮多少完全看你的硬件。

有一个流程细节很容易漏掉,但很重要。IFM 给了一个 Conceptual Reasoner skill,能在 Codex 或 Claude Code 里用,官方建议在生成之前先用它把自由文本提示词改写成结构化 caption。这就是那个消融实验变成了产品决策。这里的提示词工程,指的是产出一份能用的日程表,而不是挑更好的形容词。

第一次试,规模小一点、变量固定下来最稳。把起始图、改写后的提示词、配置和输出存在一起,这样当一段序列出问题时,你能分辨是动作描述有歧义、结构化提示词漏了某个条件,还是视频阶段丢了一个物体。

这东西给谁用

IFM 说得很直白:这是给 agent 打的地基,演示片那种玩具不是它的用途。它设想的循环是:agent 提出一个动作,PAN 2 模拟后果,agent 比较结果并修改,新的观测再喂回去。这个循环要值得跑,模拟就必须能对着现实核对,只看着像是不够的。

34% 的意义就在这里。如果三个计划里成一个、两个漏一步,那么一个拿它来规划的 agent 会经常出错,错到你必须在循环里放一个校验器,可能还得放一个人。团队自己也这么说。长期的世界一致性仍是开放问题,提示词敏感性有文档记录,跨片段的连续性也被记为问题。

尽管如此,有两件事让这次下载值得。权重和训练代码让你能复现这些失败,不用只靠相信。规划器消融给了你一个干净又便宜的实验:换掉语言模型,其他都不动,看计划完成率动不动。这比再跑一遍榜单有意思得多。

PAN 2 真正提出的问题是:物理推理应该住在哪里。在 Physics-IQ 上它落后闭源的 FLUX 3 两个点;在完整计划上它领先所有被测模型,闭源的也算在内。这两个结果要同时成立,只能是因为推理发生在规划器里,扩散骨干只负责渲染。PAN 2 自己的数字指向语言模型,也指向一个更像很好的解码器、离一颗脑子还很远的视频模型。

相关文章