Kling 的技术报告说,瓶颈不在渲染器

Kling 团队 11 月 3 日发了一份技术报告,读起来不像模型发布公告,更像一篇论证——论证活到底在哪一段。标题很直白:《Behind Video Generation》。结论更直白。作者写:生成质量,是多模态理解穿过数据、条件、对齐、评测整条链之后的投影。
从研究黑话里翻译出来就是:画,已经不是难的那部分了。决定画什么、细到什么程度,以及事后能说清一个镜头为什么废了——那才是难的。
报告署名将近五十人,眼下正在 Hugging Face 的每日论文榜上挂着。一份没有附任何权重的文档能上这个榜,本身就是个信号。什么都没放出来:没有代码,没有 checkpoint。放出来的只是一张技术栈的剖面图。
帧、片段、镜头、序列
论文开头是一条四年的时间线。2023 年是「想着能行」。2024 年做出的演示很唬人,但靠不住。2025 年到了制作真能用的镜头。2026 年是系统能生成连贯的短序列——多个镜头、持续存在的同一个人物、表演、镜头语言、对白、音乐、特效。
衡量进步的计量单位也跟着挪了:帧,然后片段,然后镜头,然后序列。这不是换个说法好听点。序列级的质量是组合性的。约束互相牵制,误差会累积,系统得从一堆乱的输入里推断出那个说不清的创作意图,再把它翻译成生成器能执行的条件。一个只被单帧标准评判过的模型,没有途径学会这件事。

一个底座,一堆专家
底下是 Kling-MLLM:一个自回归的多模态模型,吃图像、视频、音频、音画同步流和交错输入。三个尺寸——dense 27B、MoE 35B-A3B、MoE 397B-A17B,语言和视觉骨干从 Qwen3.5 到 Qwen3.8 的 checkpoint 初始化。
音频塔随规模变。小尺寸沿用 Qwen3-Omni 的设计,16 kHz 单声道编码,每秒 13 个 token。大尺寸在双分支塔里融合 Mel 和波形 VAE 特征,每秒 25 个 token。训练跑四阶段课程:声学初始化、联合多模态训练、时序容量扩展、长上下文整合。
然后底座被后训练成一群专家——打标器、提示词增强器、文本编码器、奖励模型、评测器。共用一个底座的意义在于:视觉、时序和声学的知识只学一次,然后复用;而每个下游任务各自在准确率和延迟之间挑自己的平衡点。
有个细节,哪怕你一辈子不碰视频也值得抄:把课程第一阶段和最后阶段的权重平均一下,效果比任何一个 checkpoint 单独用都好。这是个便宜得不像话的技巧,结果却干净得反常。
Caption 是一份合同
报告的中段讲 caption,这一段我会直接塞给任何靠写提示词吃饭的人。
扩散 transformer 见到的训练样本比语言模型少得多,所以每一个样本都得尽可能多地携带信息。而这些信息是由另一个模型写成的 caption 送进来的。于是作者把 caption 当成一份语义合同,并规定它必须覆盖六类信息:主体与动作;空间与构图;摄影与光线;时间与镜头;可见与可听的文字;美学。
每一类都配了一个有名字的失败。省掉摄影相关的字段,你得到的是论文所说的「通用机位行为」——好看,但风格无法复现。省掉主体动作的细节,生成器就给你静态摆拍、角色互换、动作悬空。这份清单是整篇文档里最有用的东西,因为它把「我的提示词不好使」变成了一句诊断。
他们把这套合同延伸到以参考素材为依据的打标,给了三个性质:限定绑定、残差充分、权威一致。还描述了一个有点赖皮的数据扩充办法——任何两个视频,只要视觉或声学上足够像,就能被凑成「参考」和「目标」,caption 描述它们共享什么、改变了什么。这一对不必真的来自一次编辑。
人真正会写的提示词
真实用户不写 caption。他们写三行,然后回车。所以整个栈里有两层提示词增强:一层基础的,把意图翻译到 caption 的分布里去;最后一层跑强化学习,把冻结的文本编码器和 DiT 放在回路里,用视频级的奖励去更新,奖励看的是画质、运动质量和文图对齐。在这之前还有一个 agent 层,负责理顺故事、检索范例,因为很多生产环境的提示词本身就是 AI 写的——长、流畅、内部自相矛盾。
文本编码器那一节是我没料到的。它的说法是:好的条件编码器来自感知训练,不来自更强的语言能力;通用问答 benchmark 测的是自回归解码,不是 DiT 真正消费的那层隐状态;候选编码器可以在掏钱做端到端训练之前,光靠文本就筛一遍。把骨干适配一下、把混合权重稳住之后,人类偏好比从 1.10 提到了 1.27(以 Qwen 为基线)。
奖励分成两个。一个基于 27B 的通用奖励模型,写可解释的批评:缺陷标签、时间段、逐帧框、理由。一个决策奖励模型,一次 prefill 就打一堆维度。两个合起来干五件事:DiT 的 RL、提示词增强的 RL、机器评测、checkpoint 挑选、数据清洗。
数字,以及那句免责
最大的那个模型报出来的成绩包括:LongVideoBench 72.48,MVBench 77.88,MMBench-CN 89.52,LibriSpeech clean 上的词错率 1.18。Kling-Captioner 用 35B-A3B 在 VidCapBench 上跑到 21.84 的准确率和 94.81 的覆盖率,豆包2.1-Lite 的思考模式是 20.23 和 94.15。决策奖励模型在团队内部的成对测试上拿到 77.86 的宏平均准确率,Gemini-4-Argon 是 73.54。
两句要打折扣的话。这些是团队自己的数字,而且至少有一篇仔细读过的评论认为,论文夸大了奖励模型在公开 benchmark 上的胜绩。跟豆包的对比也是喜忧参半——作者自己承认在另外几项 benchmark 上是竞品领先。这种承认比全胜更可信,但它并不能让头条数字变得独立。
更深的那层意思跟这些数字无关,照样成立。如果质量是组合出来的,那一个聚合分数什么都诊断不了。同一条烂片段,可能来自一个漏了监督信息的 caption,可能来自一个把时序结构丢掉的 condition,可能来自一个偏爱顺滑但静止运动的奖励模型,也可能来自一个根本没测提示里那个事件的评测器。论文的建议是拆开来、按任务分别评。做过视频功能的人都知道,「模型不行」有多经常最后被证明是「测试是瞎的」。
出了 Kling 为什么还值得看
过去一年,台面上的竞争是分辨率、时长、每秒单价。这些是真的,也是表格里最好比的东西。这份报告的意思是:那张表量错了层,而且它给的内部细节足够多,竞争对手可以自己把推理验一遍。
如果作者是对的,下一轮的胜负不会来自更好的渲染器。它来自谁能把「客户到底想要什么」到「生成器实际执行什么」这条管线修得最干净——以及谁能快速、具体地说出,这条链上断的是哪一环。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。