← 返回博客
Ai预计阅读 8 分钟

预测下下个片段的视频模型

发布于 2026年11月13日
预测下下个片段的视频模型

自回归视频模型的训练方式和语言模型一样:给模型一段前缀,让它预测下一个 token 或者下一个 chunk,比对,重复。这套方法行得通,也确实有一种特定的毛病,Tencent ARC、Nanjing University 和 Zhejiang University 的一篇论文把它直接点了出来。

时间冗余会鼓励局部走捷径。

翻成大白话:当相邻帧几乎一样时,模型只要把刚看到的那一帧抄过来,稍微挪一下,就能拿到不错的分数。在训练目标下这是合法动作,和学动力学正好相反。动力学的部分恰恰是下一帧不能靠抄。

补救办法是加一路预测

论文提出了 Future Chunk Prediction,简称 FCP。训练时,辅助分支从当前 chunk 的中间特征出发,去预测时间上相距较远的那个 chunk,也就是序列里往后好几步的位置。

关键在于这些分支从哪里读特征。最终输出不算,它本来就必须是对的。被读的是网络中段,此时模型还在形成对当前片段的内部表示。如果第 10 个 block 的特征要用来预测三个 chunk 之后发生的事,这个特征就得编码运动、接触和后果,光有表面纹理不够。

监督信号只有视频像素。没有光流,没有动作标注,没有深度,也没有把物理模拟器接进训练回路。辅助分支预测的是图像内容,评分也只看图像内容,其余的东西留给模型自己当副产品学出来。

这个限制挺重要。很多带物理意识的视频工作会从别处引入信号,结果既难复现,也难用到真实拍摄的素材上。FCP 一直待在模态内部。

作者的说法

两个结论,说得很直白。

生成视频的物理一致性变好。物体不再瞬移,接触会正常解算而不会滑动,模型对接下来发生什么的猜测来自当前状态,不再依赖「什么通常挨着什么」那类先验。

内部表示在语义上更有结构。对视频生成之外的人来说,第二个结论更有意思。它暗示这个辅助损失改变了模型的理解方式,影响的不只是输出。一个被迫编码「接下来会发生什么」的表示,必然要编码物体、行动者和后果。

这些说法具体怎么衡量,是相信之前该问的问题。论文报告的是自家评测上的结果,权重按 1.3B 和 5B 两个规模放出,都是文本加图像到视频的模型。Hugging Face 上有 demo 数据集,项目页有样例。仓库里没有的是独立的第三方对比。这对一篇两周大的论文来说是常态,等下次有人总结它、说「解决了物理问题」的时候,值得想起来。

真正的靶子是 teacher forcing

更深的论点关于一种人人都在用、没人喜欢的训练信号。Teacher forcing 每一步都把真实上下文喂给模型。它让训练稳定、可并行,代价是模型从来没练过从自己的错误里恢复,也不用在长时程上维持一致的内部状态,因为真值一直在替它重置状态。

再叠上冗余帧,你得到一个未来 200 毫秒很强、三秒之后就脱缰的模型。生成过长视频的人都见过这种失败:主体撑住两秒,然后变成另一个主体,配色还差不多。

FCP 从表示这一侧下手,没走 rollout 那一侧。让模型练更长的 rollout 很贵,也不稳。FCP 改让网络中段证明自己知道事情往哪走。这更便宜,也能跟你现有的任何 rollout 方案叠加。

一排立着的多米诺骨牌摆在光洁表面上,最前面四块已经倒下。

要证明需要什么

真正重要的主张跟「视频更好看」无关。它说的是用 FCP 训练出来的模型有更好的世界模型,内部状态跟的是物体和后果,不停留在外观上。

这个主张可以用论文没尝试的方式去测,而且这些测法值得点名,因为便宜。训练完把带辅助损失和不带辅助损失的模型都冻住,然后拿中间特征去探物体永久性:一个球滚到椅子后面,那个场景的表示里还留着球吗?再要求模型续写特定违反物理的片段,比如掉落的玻璃杯不碎,看 FCP 模型能不能抵抗更久。两边跑同样的 seed 和同样的 prompt。

这些都不需要新的 benchmark 套件。需要的是拿到权重的人,权重已经公开,再加一个周末。

跑起来要什么

对一个研究发布来说,这个仓库算清爽。Linux,Python 3.12,PyTorch 2.10 配 CUDA 12.8,走 conda 路线的话还得有 FFmpeg 7.1。推荐装法是先装好 FFmpeg,再跑 `uv sync --python 3.12`;或者建好 conda 环境之后,用 pip 装 torch 和 requirements.txt。没有什么奇怪的东西,也没有需要对着特定驱动编译的自定义 CUDA kernel,这一点比很多视频项目强。

两个模型规模,1.3B 和 5B,都是自回归的文本加图像到视频。团队说还会出更多规模和变体。demo 数据集跟权重一起发布。

老实说

这是一篇训练方法论文,想法干净得出奇。在视频生成里,干净的想法往往比架构更快被采用,因为它不需要一整个团队重训。

悬着的问题是规模。一个在 5B 有用的辅助损失,到 50B 可能被冲淡,也可能变成必需品,没人知道,得有人真跑一遍。「表示在语义上更有结构」这个说法,能不能扛住一个不是作者设计的 benchmark,同样没答案。

对做工程的人来说,可带走的结论更小,也更通用:如果你的模型下一步很强,接下来三秒很糟,问题可能不在容量。可能是你的损失函数从来没向网络中段问过关于未来的问题。FCP 是问法之一,代价是多一组预测头,比再烧一万个 GPU 小时便宜得多。

仓库现在 274 stars,一篇没有产品挂靠的论文差不多就是这个样子。这个想法大概会比星数活得久。

相关文章