PAN 2 放开权重,一个消融实验把整个设计讲清楚了

11 月 10 日,MBZUAI 基础模型研究所以 Apache 2.0 协议放出了 PAN 2 的权重、训练代码和推理代码。愿意连训练代码一起开源的世界模型不多,新闻稿也拿这一点做文章。真正该读的是技术博客,因为里面有一个消融实验,它把整个系统的定位重新讲了一遍。
给 PAN 2 一张起始画面,再用文字描述一个动作,它会输出最长 20 秒的视频,演给你看接下来发生了什么。重点是这条序列得构成一条说得通的物理因果链,这是另一件难得多的事,画质倒不是重点。
两个推理器,一份 checkpoint
架构是 IFM 所说的 Generative Latent Prediction,它把工作拆成两半。
一个多模态语言模型读起始图像和指定动作,写出一段带时间戳的结构化描述,说明世界接下来处在什么状态。谁在动。什么时候动。镜头怎么走。这份描述是 JSON,不是散文,这点很关键,因为它变成了一个可以被检查的接口。
一个 29B 参数的多模态扩散 transformer 负责补上语言没有说清的部分。它从零开始训练,素材按物理动态来挑,不看画面好不好看。接触。形变。浪头碎掉的方式。一个冻结的 Qwen3.5-9B 文本编码器做条件,Wan 2.2 的 VAE 负责解码帧。
放出的 checkpoint 同时支持文生视频和图生视频。默认 704×1248、24 帧每秒、50 步采样、CFG 2.5,最长 20 秒。镜头运动和主体运动分开描述,视角一变,画面才不至于散掉。
IFM 默认的规划器是 Kimi K3。在 Physics-IQ Verified 的榜单配置里,他们拿 Claude Opus 5.5 当概念推理器。这个细节值得记住,因为它意味着那个头条分数有部分是别人家语言模型的成绩。
消融实验才是重点
下面这张表比榜单名次更该被引用。
把概念推理这一步去掉,把动作直接喂给扩散模型,多步计划完成率从 34.0% 掉到 0.0%。单步完成率从 75.1% 掉到 8.7%。
把提示词改写成同样的结构化格式,但只保留表面格式,完整计划完成率回到 27.8%。所以价值的大头在推理里,格式里只剩一点,结构本身再占一点。
换句话说。没有一个决定谁在什么时候做什么的规划器,这个视频模型压根完不成多步任务。差都算客气,完成率是零。这个被当作视频生成器来卖的东西,更像一台接在调度器上的渲染器,物理推理住在调度器那一侧。

这个框架也解释了 IFM 自己承认的失败模式。大约每三个模拟计划里就有两个至少漏掉一步。三个成一个。模型卡还写了一个具体现象:模拟有时会跳过某个必要的物理步骤,却仍然朝要求的结果推进。一个看着可信的结尾帧,能盖住断掉的序列。只看最后一秒,你就会信。
它站在什么位置
100 个日常任务上的多步计划,完整计划完成率:
| 模型 | 完整计划完成率 |
|---|---|
| PAN 2 | 34.00% |
| MiniMax-H3 | 32.50% |
| FLUX 3 | 26.77% |
| Seedance 2.5 | 24.49% |
在 IFM 用来衡量物理智能的六个维度上,也就是物理一致性、因果连贯性、实体持续性、约束满足、视角不变性和目标动力学,PAN 2 总分 84.48。MiniMax-H3 是 87.20。所以 PAN 2 在完成整个计划上领先,在计划内部的单项能力上落后,这个形状很奇怪,也很具体。它更擅长让一段序列不跑偏,而不是把其中任何一帧做好。
Physics-IQ Verified 上 PAN 2 得 49.38,规划器用 Opus 5.5。这是开放权重里的最好成绩,高过 Cosmos 3 Super 的 48.62,低于闭源的 FLUX 3 的 51.11。PhyGround 4.74,RBench 57.04。在一次针对动作遵循、物理合理性和世界一致性的盲测人评里,PAN 2 在四个被测开放模型里排第二。
以上数字都来自 IFM 自己的报告。公开榜单的设置由作者自己报,这是常规做法,也是常规的保留意见。
怎么装
权重在 Hugging Face 的 IFM/PAN2。代码在 ifm-ai/PAN2,安全过滤器单独放在 ifm-ai/pan2-guardrail 仓库,IFM 强烈建议一起跑。Diffusers 和 vLLM-Omni 在发布当天就能用。
算力门槛不低,文档也没藏着。每个推理 worker 都要装完整的 29B 模型,再分走一部分提示词,所以多加 GPU 买到的是并发,单次请求不会因此变快。offload 选项会在 CPU 内存和 GPU 之间搬 block,能帮多少完全看你的硬件。
有一个流程细节很容易漏掉,但很重要。IFM 给了一个 Conceptual Reasoner skill,能在 Codex 或 Claude Code 里用,官方建议在生成之前先用它把自由文本提示词改写成结构化 caption。这就是那个消融实验变成了产品决策。这里的提示词工程,指的是产出一份能用的日程表,而不是挑更好的形容词。
第一次试,规模小一点、变量固定下来最稳。把起始图、改写后的提示词、配置和输出存在一起,这样当一段序列出问题时,你能分辨是动作描述有歧义、结构化提示词漏了某个条件,还是视频阶段丢了一个物体。
这东西给谁用
IFM 说得很直白:这是给 agent 打的地基,演示片那种玩具不是它的用途。它设想的循环是:agent 提出一个动作,PAN 2 模拟后果,agent 比较结果并修改,新的观测再喂回去。这个循环要值得跑,模拟就必须能对着现实核对,只看着像是不够的。
34% 的意义就在这里。如果三个计划里成一个、两个漏一步,那么一个拿它来规划的 agent 会经常出错,错到你必须在循环里放一个校验器,可能还得放一个人。团队自己也这么说。长期的世界一致性仍是开放问题,提示词敏感性有文档记录,跨片段的连续性也被记为问题。
尽管如此,有两件事让这次下载值得。权重和训练代码让你能复现这些失败,不用只靠相信。规划器消融给了你一个干净又便宜的实验:换掉语言模型,其他都不动,看计划完成率动不动。这比再跑一遍榜单有意思得多。
PAN 2 真正提出的问题是:物理推理应该住在哪里。在 Physics-IQ 上它落后闭源的 FLUX 3 两个点;在完整计划上它领先所有被测模型,闭源的也算在内。这两个结果要同时成立,只能是因为推理发生在规划器里,扩散骨干只负责渲染。PAN 2 自己的数字指向语言模型,也指向一个更像很好的解码器、离一颗脑子还很远的视频模型。
相关文章
ByteDance 的 SeedRealtime 每秒只取两帧,再自己决定什么时候开口
豆包 Seed-Realtime-1.0 把摄像头画面、屏幕画面和语音合成一个全双工会话,每秒最多推两帧。有意思的决定是帧率、主动说话,以及默认就开着的审核回复。
Cicada 直接听会议的系统音频,会议室里没有机器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免费应用,从系统音频里写出双语字幕和结构化会议笔记。按住一个键,你能用自己克隆出来的声音,把回复用另一种语言说出去。整个过程里没有机器人加入通话。
一台 server、一个 AI 主播:夜间直播背后的代码
open-yoki 是一个每晚在 Binance Square 直播的 AI 主播的生产代码,人格、声音和跟钱有关的功能都拿掉了。headless Chrome 画帧,ffmpeg 推 RTMP,一个 Markdown 文件夹决定她的情绪和要发的东西。
Pinky 让 agent 开你的手机,并且一直按住发送键,直到你点允许
Pinky 把任意 MCP agent 接到真的 iPhone 或 Android 手机上,审批放在自己的网关里执行,不写成 prompt。银行类应用对 agent 不可见,密码框碰不到,Android 13 上 agent 还能拿到一块隐藏的第二屏。