← 返回博客
Ai预计阅读 10 分钟

Kling 的技术报告说,瓶颈不在渲染器

发布于 2026年11月10日
Kling 的技术报告说,瓶颈不在渲染器

Kling 团队 11 月 3 日发了一份技术报告,读起来不像模型发布公告,更像一篇论证——论证活到底在哪一段。标题很直白:《Behind Video Generation》。结论更直白。作者写:生成质量,是多模态理解穿过数据、条件、对齐、评测整条链之后的投影。

从研究黑话里翻译出来就是:画,已经不是难的那部分了。决定画什么、细到什么程度,以及事后能说清一个镜头为什么废了——那才是难的。

报告署名将近五十人,眼下正在 Hugging Face 的每日论文榜上挂着。一份没有附任何权重的文档能上这个榜,本身就是个信号。什么都没放出来:没有代码,没有 checkpoint。放出来的只是一张技术栈的剖面图。

帧、片段、镜头、序列

论文开头是一条四年的时间线。2023 年是「想着能行」。2024 年做出的演示很唬人,但靠不住。2025 年到了制作真能用的镜头。2026 年是系统能生成连贯的短序列——多个镜头、持续存在的同一个人物、表演、镜头语言、对白、音乐、特效。

衡量进步的计量单位也跟着挪了:帧,然后片段,然后镜头,然后序列。这不是换个说法好听点。序列级的质量是组合性的。约束互相牵制,误差会累积,系统得从一堆乱的输入里推断出那个说不清的创作意图,再把它翻译成生成器能执行的条件。一个只被单帧标准评判过的模型,没有途径学会这件事。

A color grading suite with a large reference monitor and a timeline below it

一个底座,一堆专家

底下是 Kling-MLLM:一个自回归的多模态模型,吃图像、视频、音频、音画同步流和交错输入。三个尺寸——dense 27B、MoE 35B-A3B、MoE 397B-A17B,语言和视觉骨干从 Qwen3.5 到 Qwen3.8 的 checkpoint 初始化。

音频塔随规模变。小尺寸沿用 Qwen3-Omni 的设计,16 kHz 单声道编码,每秒 13 个 token。大尺寸在双分支塔里融合 Mel 和波形 VAE 特征,每秒 25 个 token。训练跑四阶段课程:声学初始化、联合多模态训练、时序容量扩展、长上下文整合。

然后底座被后训练成一群专家——打标器、提示词增强器、文本编码器、奖励模型、评测器。共用一个底座的意义在于:视觉、时序和声学的知识只学一次,然后复用;而每个下游任务各自在准确率和延迟之间挑自己的平衡点。

有个细节,哪怕你一辈子不碰视频也值得抄:把课程第一阶段和最后阶段的权重平均一下,效果比任何一个 checkpoint 单独用都好。这是个便宜得不像话的技巧,结果却干净得反常。

Caption 是一份合同

报告的中段讲 caption,这一段我会直接塞给任何靠写提示词吃饭的人。

扩散 transformer 见到的训练样本比语言模型少得多,所以每一个样本都得尽可能多地携带信息。而这些信息是由另一个模型写成的 caption 送进来的。于是作者把 caption 当成一份语义合同,并规定它必须覆盖六类信息:主体与动作;空间与构图;摄影与光线;时间与镜头;可见与可听的文字;美学。

每一类都配了一个有名字的失败。省掉摄影相关的字段,你得到的是论文所说的「通用机位行为」——好看,但风格无法复现。省掉主体动作的细节,生成器就给你静态摆拍、角色互换、动作悬空。这份清单是整篇文档里最有用的东西,因为它把「我的提示词不好使」变成了一句诊断。

他们把这套合同延伸到以参考素材为依据的打标,给了三个性质:限定绑定、残差充分、权威一致。还描述了一个有点赖皮的数据扩充办法——任何两个视频,只要视觉或声学上足够像,就能被凑成「参考」和「目标」,caption 描述它们共享什么、改变了什么。这一对不必真的来自一次编辑。

人真正会写的提示词

真实用户不写 caption。他们写三行,然后回车。所以整个栈里有两层提示词增强:一层基础的,把意图翻译到 caption 的分布里去;最后一层跑强化学习,把冻结的文本编码器和 DiT 放在回路里,用视频级的奖励去更新,奖励看的是画质、运动质量和文图对齐。在这之前还有一个 agent 层,负责理顺故事、检索范例,因为很多生产环境的提示词本身就是 AI 写的——长、流畅、内部自相矛盾。

文本编码器那一节是我没料到的。它的说法是:好的条件编码器来自感知训练,不来自更强的语言能力;通用问答 benchmark 测的是自回归解码,不是 DiT 真正消费的那层隐状态;候选编码器可以在掏钱做端到端训练之前,光靠文本就筛一遍。把骨干适配一下、把混合权重稳住之后,人类偏好比从 1.10 提到了 1.27(以 Qwen 为基线)。

奖励分成两个。一个基于 27B 的通用奖励模型,写可解释的批评:缺陷标签、时间段、逐帧框、理由。一个决策奖励模型,一次 prefill 就打一堆维度。两个合起来干五件事:DiT 的 RL、提示词增强的 RL、机器评测、checkpoint 挑选、数据清洗。

数字,以及那句免责

最大的那个模型报出来的成绩包括:LongVideoBench 72.48,MVBench 77.88,MMBench-CN 89.52,LibriSpeech clean 上的词错率 1.18。Kling-Captioner 用 35B-A3B 在 VidCapBench 上跑到 21.84 的准确率和 94.81 的覆盖率,豆包2.1-Lite 的思考模式是 20.23 和 94.15。决策奖励模型在团队内部的成对测试上拿到 77.86 的宏平均准确率,Gemini-4-Argon 是 73.54。

两句要打折扣的话。这些是团队自己的数字,而且至少有一篇仔细读过的评论认为,论文夸大了奖励模型在公开 benchmark 上的胜绩。跟豆包的对比也是喜忧参半——作者自己承认在另外几项 benchmark 上是竞品领先。这种承认比全胜更可信,但它并不能让头条数字变得独立。

更深的那层意思跟这些数字无关,照样成立。如果质量是组合出来的,那一个聚合分数什么都诊断不了。同一条烂片段,可能来自一个漏了监督信息的 caption,可能来自一个把时序结构丢掉的 condition,可能来自一个偏爱顺滑但静止运动的奖励模型,也可能来自一个根本没测提示里那个事件的评测器。论文的建议是拆开来、按任务分别评。做过视频功能的人都知道,「模型不行」有多经常最后被证明是「测试是瞎的」。

出了 Kling 为什么还值得看

过去一年,台面上的竞争是分辨率、时长、每秒单价。这些是真的,也是表格里最好比的东西。这份报告的意思是:那张表量错了层,而且它给的内部细节足够多,竞争对手可以自己把推理验一遍。

如果作者是对的,下一轮的胜负不会来自更好的渲染器。它来自谁能把「客户到底想要什么」到「生成器实际执行什么」这条管线修得最干净——以及谁能快速、具体地说出,这条链上断的是哪一环。

相关文章