← 返回部落格
Ai預計閱讀 9 分鐘

PAN 2 開放權重,一個消融實驗把整個設計講明白了

發布於 2026年11月15日
PAN 2 開放權重,一個消融實驗把整個設計講明白了

11 月 10 日,MBZUAI 基礎模型研究所以 Apache 2.0 釋出 PAN 2 的權重、訓練程式碼和推論程式碼。願意連訓練程式碼一起開源的世界模型不多,新聞稿也拿這一點做文章。真正該讀的是技術部落格,因為裡面有一個消融實驗,把整個系統的定位重新講了一遍。

給 PAN 2 一張起始畫面,再用文字描述一個動作,它會輸出最長 20 秒的影片,演給你看接下來發生什麼事。重點是這段序列得構成一條說得通的物理因果鏈,這是另一件難得多的事,畫質倒不是重點。

兩個推理器,一份 checkpoint

架構是 IFM 所說的 Generative Latent Prediction,把工作拆成兩半。

一個多模態語言模型讀起始影像和指定動作,寫出一段帶時間戳的結構化描述,說明世界接下來處在什麼狀態。誰在動。什麼時候動。鏡頭怎麼走。這份描述是 JSON,不是散文,這點很關鍵,因為它變成了一個可以被檢查的介面。

一個 29B 參數的多模態擴散 transformer 負責補上語言沒有說清楚的部分。它從零開始訓練,素材照物理動態來挑,不看畫面好不好看。接觸。形變。浪頭碎掉的方式。一個凍結的 Qwen3.5-9B 文字編碼器負責條件,Wan 2.2 的 VAE 負責解碼影格。

釋出的 checkpoint 同時支援文生影片和圖生影片。預設 704×1248、24 幀每秒、50 步取樣、CFG 2.5,最長 20 秒。鏡頭運動和主體運動分開描述,視角一換,畫面才不至於散掉。

IFM 預設的規劃器是 Kimi K3。在 Physics-IQ Verified 的排行榜設定裡,他們拿 Claude Opus 5.5 當概念推理器。這個細節值得記住,因為它意味著那個頭條分數有部分是別人家語言模型的成績。

消融實驗才是重點

下面這張表比排行榜名次更該被引用。

把概念推理這一步拿掉,把動作直接餵給擴散模型,多步計畫完成率從 34.0% 掉到 0.0%。單步完成率從 75.1% 掉到 8.7%。

把提示詞改寫成同樣的結構化格式,但只保留表面格式,完整計畫完成率回到 27.8%。所以價值的大頭在推理裡,格式裡只剩一點,結構本身再佔一點。

換句話說。沒有一個決定誰在什麼時候做什麼的規劃器,這個影片模型根本完成不了多步任務。差都算客氣,完成率是零。這個被當成影片生成器來賣的東西,更像一台接在排程器上的算圖器,物理推理住在排程器那一側。

深色桌面上攤開的機械擒縱機構,擒縱輪少了一齒,整組齒輪因此靜止不動。

這個框架也解釋了 IFM 自己承認的失敗模式。大約每三個模擬計畫就有兩個至少漏掉一步。三個成一個。模型卡還寫了一個具體現象:模擬有時會跳過某個必要的物理步驟,卻仍然朝要求的結果推進。一個看起來可信的結尾影格,能蓋住斷掉的序列。只看最後一秒,你就會信。

它站在什麼位置

100 個日常任務上的多步計畫,完整計畫完成率:

模型完整計畫完成率
PAN 234.00%
MiniMax-H332.50%
FLUX 326.77%
Seedance 2.524.49%

在 IFM 用來衡量物理智慧的六個維度上,也就是物理一致性、因果連貫性、實體持續性、約束滿足、視角不變性和目標動力學,PAN 2 總分 84.48。MiniMax-H3 是 87.20。所以 PAN 2 在完成整個計畫上領先,在計畫內部的單項能力上落後,這個形狀很奇怪,也很具體。它更擅長讓一段序列不跑偏,而不是把其中任何一格做好。

Physics-IQ Verified 上 PAN 2 得 49.38,規劃器用 Opus 5.5。這是開放權重裡最好的成績,高過 Cosmos 3 Super 的 48.62,低於閉源的 FLUX 3 的 51.11。PhyGround 4.74,RBench 57.04。在一次針對動作遵循、物理合理性和世界一致性的盲測人評裡,PAN 2 在四個受測開放模型裡排第二。

以上數字都來自 IFM 自己的報告。公開排行榜的設定由作者自己報,這是常規做法,也是常規的保留意見。

怎麼裝

權重在 Hugging Face 的 IFM/PAN2。程式碼在 ifm-ai/PAN2,安全過濾器單獨放在 ifm-ai/pan2-guardrail 儲存庫,IFM 強烈建議一起跑。Diffusers 和 vLLM-Omni 在發布當天就能用。

算力門檻不低,文件也沒藏。每個推論 worker 都要載入完整的 29B 模型,再分走一部分提示詞,所以多加 GPU 買到的是併發,單次請求不會因此變快。offload 選項會在 CPU 記憶體和 GPU 之間搬 block,能幫多少完全看你的硬體。

有一個流程細節很容易漏掉,但很重要。IFM 給了一個 Conceptual Reasoner skill,可以在 Codex 或 Claude Code 裡用,官方建議在生成之前先用它把自由文字提示詞改寫成結構化 caption。這就是那個消融實驗變成了產品決策。這裡的提示詞工程,指的是產出一份能用的排程表,而不是挑更好的形容詞。

第一次試,規模小一點、變數固定下來最穩。把起始圖、改寫後的提示詞、設定和輸出存在一起,這樣當一段序列出問題時,你能分辨是動作描述有歧義、結構化提示詞漏了某個條件,還是影片階段丟了一個物件。

這東西給誰用

IFM 說得很直白:這是給 agent 打的地基,示範片那種玩具不是它的用途。它設想的迴圈是:agent 提出一個動作,PAN 2 模擬後果,agent 比較結果並修正,新的觀測再餵回去。這個迴圈要值得跑,模擬就必須能對著現實核對,只看著像是不夠的。

34% 的意義就在這裡。如果三個計畫裡成一個、兩個漏一步,那麼一個拿它來規劃的 agent 會經常出錯,錯到你必須在迴圈裡放一個驗證器,可能還得放一個人。團隊自己也這麼說。長期的世界一致性仍是開放問題,提示詞敏感性有文件記錄,跨片段的連續性也被記為問題。

儘管如此,有兩件事讓這次下載值得。權重和訓練程式碼讓你能重現這些失敗,不用只靠相信。規劃器消融給你一個乾淨又便宜的實驗:換掉語言模型,其他都不動,看計畫完成率動不動。這比再跑一遍排行榜有意思得多。

PAN 2 真正提出的問題是:物理推理應該住在哪裡。在 Physics-IQ 上它落後閉源的 FLUX 3 兩個點;在完整計畫上它領先所有受測模型,閉源的也算在內。這兩個結果要同時成立,只能是因為推理發生在規劃器裡,擴散骨幹只負責算圖。PAN 2 自己的數字指向語言模型,也指向一個更像很好的解碼器、離一顆腦子還很遠的影片模型。

相關文章