← 返回部落格
Ai預計閱讀 9 分鐘

4LC 把場景存起來,影片模型就不用每次重畫一遍

發布於 2026年11月14日
4LC 把場景存起來,影片模型就不用每次重畫一遍

影片世界模型生成一個場景,轉動鏡頭,再轉回來,那棟樓就變了。變得不算誇張。窗戶的位置偏了一點,屋頂的坡度移了,本來在左邊的那棵樹現在跑到中間偏右。

這種漂移就是 4LC 這篇論文要打的靶。名字是 4D Latent Cache 的縮寫,前提簡單到有點不好意思講:模型已經算過這個場景長什麼樣了,為什麼還要再算一次。

快取裡到底存了什麼

4LC 把靜態內容和動態內容綁到共享的幾何與動作資訊上,這些內容由幾個視覺編碼器分別抽出來。之後的生成請求,不管換了時間點還是換了視角,都從這份快取裡讀,而不是從零重新算圖、重新編碼。

讓這件事成立的是動作遮罩。模型每生成一段新內容,就把結果當成一筆新的快取項目附加進去。後續生成只重複使用舊項目裡被遮罩標成靜態的部分,裡面記錄的動作不會被重播。

這個決定解掉了對影片模型做快取時最直接的質疑。快取一格畫面再拿來用,場景就凍住了。什麼都不動,什麼都不變,你造出來的是一張全景圖,不是一段模擬。把動作和結構分開存,幾何被釘在原地,狀態還能接著演變。

那張對比表本身就是論文

評測跑在 MBench-A 上,它從兩個軸給長時序記憶打分。環境分看場景的空間結構穩不穩。因果分看場景的狀態有沒有在合理地演變。

4LC-Video 的環境分是 85.56,因果分是 89.06,在參與對比的方法裡兩項都最高。這種雙贏並不常見,原因看其他方法的分數就清楚了。

HY-WorldPlay 和 Infinite-World 把空間一致性守得很好,狀態演變分卻很低。HY-WorldPlay 的狀態分是 49.50,描述的是一個看起來永久凍結的場景。它記得這個房間,但房間裡什麼也沒發生。

Yume-1.5 和 LingBot-World 走的是另一邊。它們的狀態分是 97.90 和 96.00,東西確實有在變。LingBot-World 的重投影分是 7.57,意思是結構漂得夠厲害,你回到同一個視角,看到的是另一個房間。

那張表裡每個方法都在犧牲一個軸去換另一個軸。4LC 的貢獻是說明這個取捨來自記憶的組織方式,跟任務本身沒關係。

不用多視角資料也能訓

訓練配置是真正動手的人最關心的部分。4LC-Video 用了 20 萬條單目影片片段,來自 SpatialVID、RealCamVid 和 OpenVid,沒有任何成對的多視角監督。換句話說,普通單鏡頭素材,不是貴得離譜的多機位陣列。

增強策略單獨拿出來也值得讀。研究者故意造出資訊不全的條件,讓模型學會在缺了什麼的時候照常工作。他們隨機丟掉一部分來源影格。模擬一台虛擬攝影機平移、旋轉、縮放,算出哪些點還會可見。把判定動作用的門檻擾動一下。還有百分之十的情況,條件只從第一格畫面搭起來,模擬你手上只有一張圖、沒有影片的極端場景。

真實條件從來不乾淨。重建模型有誤差,動作估計是近似的,有些角度根本沒被觀測到。只在完美條件下訓出來的模型,遇到一個缺口就不知道該怎麼辦。

我反覆回看的那處細節

論文驗證特徵有沒有被正確讀取,用的是相對表徵相似度,不是絕對相似度。兩個特徵向量放在一起比數值,很容易把自己騙過去,座標系和正規化方式不一樣,描述同一內容的兩條向量也能看起來離得很遠。

一塊厚玻璃直立著,一道極細的光從它的一條側邊射進去,從對側邊射出一道淡青色的光,其餘全在暗處。

相對相似度問的是另一個問題:這個特徵和錨點特徵之間的關係有沒有留下來。這才更接近「資訊被保住了」的實際意思。

論文裡還有一處相關的觀察,作者沒有展開。V-JEPA 2.1 是一個影片自監督模型,直接讀取時幾乎沒有一致性損失,旋轉和位移的誤差反而降了。給出的解釋是它從影片裡學,時間上的連貫性已經烤進表徵本身,這份連貫性扛得住被讀取、被投影、被傳播。

如果這個說法成立,那在時間軸上訓出來的特徵,比在單格畫面上訓出來的特徵更適合跨時間重複使用。這是條關於架構選擇的線索,這篇論文沒有往下追。

它沒解掉的部分

論文對這個缺口講得很直白。4LC 支援快取靜態內容和動作內容,但 4LC-Video 在長時序生成這個具體任務上,只重複使用了歷史裡的靜態部分。

動態內容,也就是真正在動的那一塊,還沒有跨片段重複使用。作者把它留給後續工作。

這意味著現在的系統很擅長把一個世界穩住,同時仍然指望生成器去維持動作部分的連貫。拍一段固定環境的穿越鏡頭,這個分工是對的。場景裡有人反覆走進走出,難的那一半還開著。

為什麼這套框架對做影片模型的人重要

實務上的教訓是,記憶怎麼組織是一個可以設計的面,而且它比生成器便宜。

做長影片或互動式模擬的人都會撞上同一堵牆:模型付不起完整歷史的 key-value 快取,壓縮過的循環狀態又會忘事。4LC 的答案是讓這些狀態能被獨立定址,按幾何去檢索,這本質上是個檢索問題,只是穿了一件生成的外套。

這樣一個系統的程式碼和權重通常是最沒意思的部分。把靜態的東西和動作的東西分開,然後只重播靜態那一半,這個想法才是能帶走的。

它還重新定義了成本問題。完整的 key-value 快取無界成長,所以長 rollout 越來越貴。壓縮的循環狀態是平的,但會忘,所以長 rollout 會漂。把結構和動作分開快取,給出第三種選項:一個長得慢、留得住要緊的東西、而且能按攝影機看向哪裡而不是按多久以前看過來檢索的儲存。

最後這一點是讀者該順手拿走的設計選擇。拿幾何做檢索鍵,意味著找一段記憶的成本跟場景規模走,跟 rollout 的長度無關。同一個想法讓向量索引在文字上變得有用。

落到生產裡,大概沒有論文暗示的那麼戲劇化。生成三十秒影片片段的模型碰不到十分鐘互動場景那堵記憶牆。先吃到這套方法的是做可走動環境的那批人,而他們恰恰最不能容忍一棟樓兩次走進去長得不一樣。

相關文章