← 返回部落格
Ai預計閱讀 8 分鐘

預測下下個片段的影片模型

發布於 2026年11月13日
預測下下個片段的影片模型

自迴歸影片模型的訓練方式和語言模型一樣:給模型一段前綴,讓它預測下一個 token 或下一個 chunk,比對,重複。這套方法行得通,也確實有一種特定的毛病,Tencent ARC、Nanjing University 和 Zhejiang University 的一篇論文把它直接點了出來。

時間冗餘會鼓勵局部走捷徑。

翻成大白話:當相鄰幀幾乎一樣時,模型只要把剛看到的那一幀抄過來,稍微挪一下,就能拿到不錯的分數。在訓練目標下這是合法動作,和學動力學正好相反。動力學的部分恰恰是下一幀不能靠抄。

補救辦法是加一路預測

論文提出了 Future Chunk Prediction,簡稱 FCP。訓練時,輔助分支從當前 chunk 的中間特徵出發,去預測時間上相距較遠的那個 chunk,也就是序列裡往後好幾步的位置。

關鍵在於這些分支從哪裡讀特徵。最終輸出不算,它本來就必須是對的。被讀的是網路中段,此時模型還在形成對當前片段的內部表徵。如果第 10 個 block 的特徵要用來預測三個 chunk 之後發生的事,這個特徵就得編碼運動、接觸和後果,光有表面紋理不夠。

監督訊號只有影片像素。沒有光流,沒有動作標註,沒有深度,也沒有把物理模擬器接進訓練迴路。輔助分支預測的是影像內容,評分也只看影像內容,其餘的東西留給模型自己當副產品學出來。

這個限制挺重要。很多帶物理意識的影片工作會從別處引入訊號,結果既難重現,也難用到真實拍攝的素材上。FCP 一直待在模態內部。

作者的說法

兩個結論,說得很直白。

生成影片的物理一致性變好。物體不再瞬移,接觸會正常解算而不會滑動,模型對接下來發生什麼的猜測來自當前狀態,不再依賴「什麼通常挨著什麼」那類先驗。

內部表徵在語意上更有結構。對影片生成之外的人來說,第二個結論更有意思。它暗示這個輔助損失改變了模型的理解方式,影響的不只是輸出。一個被迫編碼「接下來會發生什麼」的表徵,必然要編碼物體、行動者和後果。

這些說法具體怎麼衡量,是相信之前該問的問題。論文報告的是自家評測上的結果,權重按 1.3B 和 5B 兩個規模釋出,都是文字加影像到影片的模型。Hugging Face 上有 demo 資料集,專案頁面有範例。倉庫裡沒有的是獨立的第三方比較。這對一篇兩週大的論文來說是常態,等下次有人總結它、說「解決了物理問題」的時候,值得想起來。

真正的靶子是 teacher forcing

更深的論點關於一種人人都在用、沒人喜歡的訓練訊號。Teacher forcing 每一步都把真實上下文餵給模型。它讓訓練穩定、可平行化,代價是模型從來沒練過從自己的錯誤裡恢復,也不用在長時程上維持一致的內部狀態,因為真值一直在替它重置狀態。

再疊上冗餘幀,你得到一個未來 200 毫秒很強、三秒之後就脫韁的模型。生成過長影片的人都見過這種失敗:主體撐住兩秒,然後變成另一個主體,配色還差不多。

FCP 從表徵這一側下手,沒走 rollout 那一側。讓模型練更長的 rollout 很貴,也不穩。FCP 改讓網路中段證明自己知道事情往哪走。這更便宜,也能跟你現有的任何 rollout 方案疊加。

一排立著的多米諾骨牌擺在光潔表面上,最前面四塊已經倒下。

要證明需要什麼

真正重要的主張跟「影片更好看」無關。它說的是用 FCP 訓練出來的模型有更好的世界模型,內部狀態跟的是物體和後果,不停留在外觀上。

這個主張可以用論文沒嘗試的方式去測,而且這些測法值得點名,因為便宜。訓練完把帶輔助損失和不帶輔助損失的模型都凍住,然後拿中間特徵去探物體永久性:一顆球滾到椅子後面,那個場景的表徵裡還留著球嗎?再要求模型續寫特定違反物理的片段,比如掉落的玻璃杯不破,看 FCP 模型能不能抵抗更久。兩邊跑同樣的 seed 和同樣的 prompt。

這些都不需要新的 benchmark 套件。需要的是拿到權重的人,權重已經公開,再加一個週末。

跑起來要什麼

對一個研究釋出來說,這個倉庫算清爽。Linux,Python 3.12,PyTorch 2.10 配 CUDA 12.8,走 conda 路線的話還得有 FFmpeg 7.1。推薦裝法是先裝好 FFmpeg,再跑 `uv sync --python 3.12`;或者建好 conda 環境之後,用 pip 裝 torch 和 requirements.txt。沒有什麼奇怪的東西,也沒有需要對著特定驅動編譯的自訂 CUDA kernel,這一點比很多影片專案強。

兩個模型規模,1.3B 和 5B,都是自迴歸的文字加影像到影片。團隊說還會出更多規模和變體。demo 資料集跟權重一起釋出。

老實說

這是一篇訓練方法論文,想法乾淨得出奇。在影片生成裡,乾淨的想法往往比架構更快被採用,因為它不需要一整個團隊重訓。

懸著的問題是規模。一個在 5B 有用的輔助損失,到 50B 可能被沖淡,也可能變成必需品,沒人知道,得有人真跑一遍。「表徵在語意上更有結構」這個說法,能不能扛住一個不是作者設計的 benchmark,同樣沒答案。

對做工程的人來說,可帶走的結論更小,也更通用:如果你的模型下一步很強,接下來三秒很糟,問題可能不在容量。可能是你的損失函數從來沒向網路中段問過關於未來的問題。FCP 是問法之一,代價是多一組預測頭,比再燒一萬個 GPU 小時便宜得多。

倉庫現在 274 stars,一篇沒有產品掛靠的論文差不多就是這個樣子。這個想法大概會比星數活得久。

相關文章