4LC 把场景存起来,视频模型就不用每次重画一遍

视频世界模型生成一个场景,转动镜头,再转回来,那栋楼就变了。变得不算夸张。窗户的位置偏了一点,屋顶的坡度挪了,本来在左边的那棵树现在跑到了中间偏右。
这种漂移就是 4LC 这篇论文要打的靶子。名字是 4D Latent Cache 的缩写,前提简单到有点不好意思讲:模型已经算过这个场景长什么样了,为什么还要再算一遍。
缓存里到底存了什么
4LC 把静态内容和动态内容绑到共享的几何与运动信息上,这些内容由几个视觉编码器分别抽出来。之后的生成请求,不管换了时间点还是换了视角,都从这份缓存里读,而不是从零重新渲染、重新编码。
让这件事成立的是一个运动掩码。模型每生成一段新内容,就把结果作为一条新的缓存条目追加进去。后续生成只复用旧条目里被掩码标成静态的部分,里面记录的运动不会被重放。
这个决定解决了对视频模型做缓存时最直接的质疑。缓存一帧再拿来用,场景就冻住了。什么都不动,什么都不变,你造出来的是一张全景图,不是一段模拟。把运动和结构分开存,几何被钉在原地,状态还能接着演化。
那张对比表本身就是论文
评测跑在 MBench-A 上,它从两个维度给长时序记忆打分。环境分看场景的空间结构稳不稳。因果分看场景的状态有没有在合理地演化。
4LC-Video 的环境分是 85.56,因果分是 89.06,在参与对比的方法里两项都最高。这种双赢并不常见,原因看其他方法的分数就清楚了。
HY-WorldPlay 和 Infinite-World 把空间一致性守得很好,状态演化分却很低。HY-WorldPlay 的状态分是 49.50,描述的是一个看起来永久冻结的场景。它记得这个房间,但房间里什么也没发生。
Yume-1.5 和 LingBot-World 走的是另一边。它们的状态分是 97.90 和 96.00,东西确实在变。LingBot-World 的重投影分是 7.57,意思是结构漂得足够厉害,你回到同一个视角,看到的是另一个房间。
那张表里每个方法都在牺牲一个维度去换另一个。4LC 的贡献是说明这个取舍来自记忆的组织方式,跟任务本身没关系。
不用多视角数据也能训
训练配置是真正动手的人最关心的部分。4LC-Video 用了 20 万条单目视频片段,来自 SpatialVID、RealCamVid 和 OpenVid,没有任何成对的多视角监督。换句话说,普通单镜头素材,不是贵得离谱的多机位阵列。
增强策略单独拿出来也值得读。研究者故意造出信息不全的条件,让模型学会在缺点什么的时候照常工作。他们随机丢掉一部分源帧。模拟一台虚拟摄影机平移、旋转、缩放,算出哪些点还会可见。把判定运动用的阈值扰动一下。还有百分之十的情况,条件只从第一帧搭起来,模拟你手里只有一张图、没有视频的极端场景。
真实条件从来不干净。重建模型有误差,运动估计是近似的,有些角度根本没被观测到。只在完美条件下训出来的模型,遇到一个缺口就不知道该怎么办。
我反复回看的那处细节
论文验证特征有没有被正确读取,用的是相对表征相似度,不是绝对相似度。两个特征向量放在一起比数值,很容易把自己骗过去,坐标系和归一化方式不一样,描述同一内容的两条向量也能看起来离得很远。

相对相似度问的是另一个问题:这个特征和锚点特征之间的关系有没有留下来。这才更接近「信息被保住了」的实际含义。
论文里还有一处相关的观察,作者没有展开。V-JEPA 2.1 是一个视频自监督模型,直接读取时几乎没有一致性损失,旋转和位移的误差反而降了。给出的解释是它从视频里学,时间上的连贯性已经烤进了表征本身,这份连贯性扛得住被读取、被投影、被传播。
如果这个说法成立,那在时间轴上训出来的特征,比在单帧上训出来的特征更适合跨时间复用。这是条关于架构选择的线索,这篇论文没有往下追。
它没解决的部分
论文对这个缺口说得很直白。4LC 支持缓存静态内容和运动内容,但 4LC-Video 在长时序生成这个具体任务上,只复用了历史里的静态部分。
动态内容,也就是真正在动的那一块,还没有跨片段复用。作者把它留给了后续工作。
这意味着现在的系统很擅长把一个世界稳住,同时仍然指望生成器去维持运动部分的连贯。拍一段固定环境的穿越镜头,这个分工是对的。场景里有人反复走进走出,难的那一半还敞着。
为什么这套框架对做视频模型的人重要
实用层面的教训是,记忆怎么组织是一个可以设计的面,而且它比生成器便宜。
做长视频或者交互式模拟的人都会撞上同一堵墙:模型付不起完整历史的 key-value 缓存,压缩过的循环状态又会忘事。4LC 的答案是让这些状态能被独立寻址,按几何去检索,这本质上是个检索问题,只是穿了一件生成的外套。
这样一个系统的代码和权重通常是最没意思的部分。把静态的东西和运动的东西分开,然后只重放静态那一半,这个想法才是能搬走的。
它还重新定义了成本问题。完整的 key-value 缓存无界增长,所以长 rollout 越来越贵。压缩的循环状态是平的,但会忘,所以长 rollout 会漂。把结构和运动分开缓存,给出了第三种选项:一个长得慢、留得住要紧的东西、并且能按摄影机看向哪里而不是按多久以前看过来检索的存储。
最后这一点是读者该顺走的设计选择。拿几何做检索键,意味着找一段记忆的成本跟场景规模走,跟 rollout 的长度无关。同一个想法让向量索引在文本上变得有用。
落到生产里,大概没有论文暗示的那么戏剧化。生成三十秒片段的视频模型碰不到十分钟交互场景那堵记忆墙。先吃到这套方法的是做可走动环境的那批人,而他们恰恰最不能容忍一栋楼两次走进去长得不一样。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。