4LC はシーンを覚えておく。動画モデルは毎回描き直さなくていい

動画の世界モデルがシーンを生成し、カメラを回して、また戻ってくる。すると建物が変わっている。劇的に違うわけではない。窓の位置が少しずれ、屋根の勾配が動き、左にあった木が今は中央寄りに来ている。
この漂流こそ、4LC の論文が狙っている失敗だ。名前は 4D Latent Cache の略で、前提はこちらが気恥ずかしくなるくらい単純である。モデルはもうこのシーンがどう見えるかを計算済みなのだから、なぜもう一度計算するのか。
何がキャッシュされるのか
4LC は、複数の視覚エンコーダがそれぞれ抽出した静的・動的なシーン内容を、共有された幾何と運動の情報に結びつける。その後の生成リクエストは、時刻が変わっても視点が変わっても、ゼロから描き直して再エンコードするのではなく、このキャッシュから読む。
これを成立させている仕組みがモーションマスクだ。モデルは新しい区間を生成するたびに、その結果を新しいキャッシュ項目として追加する。次の生成では、以前の項目のうちマスクが静的と判定した部分だけを使い、そこに記録された運動は再生しない。
この一点が、動画モデルでキャッシュを使うときの素朴な反論を潰す。フレームをキャッシュして使い回せば、シーンは固まる。何も動かず、何も変わらず、できあがるのはシミュレーションではなくパノラマだ。運動を構造から切り離して保存すれば、幾何は固定されたまま、状態だけが変化を続けられる。
あの比較表がこの論文の本体だ
評価は MBench-A で行われ、長期的な記憶を二つの軸で採点する。環境はシーンの空間構造が安定しているかを見る。因果はシーンの状態が筋の通った仕方で変化するかを見る。
4LC-Video は環境 85.56、因果 89.06 で、比較対象の中で両方とも最高だった。この二冠は珍しい。理由は他の手法のスコアを見れば分かる。
HY-WorldPlay と Infinite-World は空間の一貫性をよく保つが、状態の変化のスコアが低い。HY-WorldPlay の状態スコアは 49.50 で、これは永久に凍結したように見えるシーンを表している。部屋は覚えているが、その中で何も起きない。
Yume-1.5 と LingBot-World は逆方向に振れている。状態スコアは 97.90 と 96.00 で、物は本当に変わる。LingBot-World の再投影スコアは 7.57、つまり構造の漂流がひどく、同じ視点に戻ると別の部屋が現れる。
この表の手法はどれも、片方の軸を犠牲にして片方を最適化している。4LC の貢献は、このトレードオフが課題ではなく記憶の編成方法から来ていると示したことだ。
多視点データなしで訓練する
実装する人が気にするのは訓練の設定だろう。4LC-Video は SpatialVID、RealCamVid、OpenVid から取った 20 万本の単眼動画クリップを使い、対になる多視点の教師信号は一切使っていない。要するに普通の単レンズ素材であって、高価な多カメラリグではない。
拡張の戦略は単体でも読む価値がある。研究者たちは情報が欠けた条件をわざと作り、足りないときに普通に働けるようモデルを鍛える。元のフレームをランダムに落とす。仮想カメラをパン、回転、ズームさせて、どの点が見えるかを計算する。運動の判定に使うしきい値を揺らす。そして一割の確率で、条件を最初のフレームだけで組み立て、画像が一枚しかなく動画がないという極端な状況を再現する。
現実の条件は決してきれいじゃない。再構成モデルには誤差があり、運動推定は近似で、観測されなかった角度もある。完璧な条件だけで訓練されたモデルは、穴を渡されたときに何をしていいか分からない。
何度も見返している細部
論文は特徴が正しく読まれているかを、絶対的な類似度ではなく相対的な表現類似度で検証している。二つの特徴ベクトルを数値で比べると、自分を簡単に騙せる。座標系も正規化も違うので、同じ内容を表す二つのベクトルが遠く離れて見えることがある。

相対的な類似度はもっと良い問いを立てる。この特徴とアンカー特徴の関係が生き残ったかどうか。そのほうが「情報が保存された」という言葉の実態に近い。
論文には著者たちが展開していない関連の観察もある。動画の自己教師ありモデルである V-JEPA 2.1 は、そのまま読んだときに一貫性の損失がほとんど出ず、回転と並進の誤差はむしろ減った。示唆されている理由は、動画から学んだので時間的な整合性が表現自体に焼き込まれており、その整合性が読み出し、投影、伝播を経ても生き残るというものだ。
これが成り立つなら、時間軸で訓練された特徴のほうが、単一フレームで訓練された特徴より、時間をまたいだ再利用に向いている。アーキテクチャの選択に関する示唆だが、この論文はそこまで追いかけていない。
解いていないこと
論文はこの穴について明快に書いている。4LC は静的コンテンツと動くコンテンツの両方をキャッシュできるが、4LC-Video は長期的生成という具体的な課題において、履歴の静的部分しか再利用していない。
動的コンテンツ、つまり実際に動いている部分は、まだ区間をまたいで再利用されない。著者たちはこれを今後の課題として残している。
つまり現行のシステムは、世界を安定させ続けるのがとても得意で、その一方で動く部分の整合性は生成器に任せている。固定された環境を飛び回る映像なら、この分担は正しい。人が何度も行き来するシーンになると、難しいほうの半分は開いたままだ。
動画モデルで作る人にとって、この枠組みが効く理由
実務的な教訓は、記憶の編成が設計対象であり、生成器より安く触れるということだ。
長尺の動画や対話的なシミュレーションを作る人は同じ壁に当たる。履歴全体の key-value キャッシュを持つ余裕はなく、圧縮した再帰状態は忘れる。4LC の答えは、状態を個別にアドレス可能なまま保持し、幾何で引くことだ。これは生成の衣装を着た検索問題である。
こうしたシステムのコードとチェックポイントは、たいてい一番面白くない部分だ。静的なものと動くものを分け、静的な側だけを再生するという発想のほうが持ち運べる。
コストの問題も組み替えられる。完全な key-value キャッシュは際限なく増えるので、長いロールアウトは高くつく。圧縮した再帰状態は一定のままだが忘れるので、長いロールアウトは漂流する。構造と運動を別々にキャッシュすれば第三の選択肢が出る。ゆっくり育ち、大事なものを保持し、いつ見たかではなくカメラがどこを見ているかで引ける保存庫だ。
最後の点こそ読者が盗むべき設計判断である。幾何をキーにした検索なら、記憶を探すコストはロールアウトの長さではなくシーンの規模に比例する。同じ発想が、テキストにおけるベクトルインデックスを有用にした。
プロダクションでの着地点は、論文が示すほど劇的ではないだろう。30 秒のクリップを作る動画モデルは、10 分の対話的シーンがぶつかる記憶の壁には届かない。まず効いてくるのは歩き回れる環境を作っている人たちで、その人たちは建物が訪問のたびに形を変えることにもっとも耐えられない。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。