← ブログに戻る
Ai読了目安 15 分

Kling の技術レポートは「ボトルネックは描画エンジンではない」と言っている

公開日 2026年11月10日
Kling の技術レポートは「ボトルネックは描画エンジンではない」と言っている

Kling のチームが11月3日に公開した技術レポートは、モデルの発表というより、仕事がどこにあるのかについての論考に見えます。タイトルはそっけなく「Behind Video Generation」。主張はさらにそっけなくありません。生成品質とは、マルチモーダル理解がデータ、条件付け、アラインメント、評価というチェーン全体を通って投影された結果だ、と著者らは書いています。

研究の方言から翻訳するとこうです。描くことはもう難しくない。何を描くかを十分な解像度で決めること、そしてあるショットがなぜ失敗したのかを説明できること。それが難しい。

レポートには50人近い著者が名を連ね、現在 Hugging Face の daily papers で上位に入っています。重みが1つも添付されていない文書がそこに載るということ自体がシグナルです。コードもチェックポイントも公開されません。公開されているのは、スタックの説明です。

フレーム、クリップ、ショット、シーケンス

論文は4年間のタイムラインから始まります。2023年は願望だった。2024年は印象的だが当てにできないデモを作った。2025年は制作で実際に使えるショットに到達した。2026年は、複数のショット、持続する被写体、演技、カメラ言語、台詞、音楽、効果を含む一貫した短いシーケンスを、システムが生成する段階です。

進歩の単位も一緒に移りました。フレーム、クリップ、ショット、シーケンス。これは見た目だけの言い換えではありません。シーケンスレベルの品質は構成的です。制約は相互作用し、誤差は蓄積し、システムは雑な入力から潜在的な創作意図を推論し、その意図を生成器が実行できる条件として表現しなければなりません。単一フレームでしか評価されてこなかったモデルには、それを学ぶ方法がありません。

A color grading suite with a large reference monitor and a timeline below it

1つのバックボーン、多数の専門家

土台にあるのは Kling-MLLM です。画像、動画、音声、同期した音声付き動画、インターリーブ入力を扱う自己回帰型のマルチモーダルモデルで、サイズは3つ。密な 27B、MoE の 35B-A3B、MoE の 397B-A17B。言語と視覚のバックボーンは、Qwen3.5 から Qwen3.8 のチェックポイントで初期化されています。

音声タワーはスケールによって変わります。小さい変種は Qwen3-Omni の設計に従い、16kHz モノラルを毎秒13トークンで符号化します。大きい変種は Mel と波形 VAE の特徴をデュアルブランチのタワーで融合し、毎秒25トークン。学習は4段階のカリキュラムで、音響の初期化、マルチモーダル同時学習、時間容量の拡張、長期コンテキストの統合です。

その上でベースを事後学習し、キャプショナー、プロンプトエンハンサー、テキストエンコーダ、報酬モデル、評価器といった専門家に分けます。1つのバックボーンを共有する意味は、視覚・時間・音響の知識を一度だけ学んで再利用できること、そして各タスクが精度とレイテンシのトレードオフを自分で選べることです。

動画に触らない人にも盗む価値のある細部があります。カリキュラムの最初と最後の段階の重みを平均すると、どちらのチェックポイント単体よりも良かった、という点です。安上がりなトリックにしては、結果が異様にきれいです。

キャプションは契約である

レポートの中盤はキャプションについてで、プロンプトを書いて飯を食っている人に渡したい部分です。

拡散トランスフォーマーは言語モデルに比べて学習サンプルが桁違いに少ないので、1つのサンプルが可能な限り多くの情報を運ぶ必要があります。その情報は、別のモデルが書いたキャプションとして届きます。そこで著者らはキャプションを意味的な契約として扱い、カバーすべき6つの情報ファミリーを規定します。被写体と動作、空間と構図、撮影と光、時間とショット、可視・可聴のテキスト、そして美学です。

各ファミリーには、名前の付いた失敗があります。撮影の項目を飛ばすと、論文が「generic camera behavior」と呼ぶものが出ます。魅力的だが再現できないスタイルです。被写体と動作の詳細を飛ばすと、静止したポーズ、役割の入れ替わり、未解決の動作が生成されます。このリストが文書で最も有用な部分です。「プロンプトが効かない」を診断に変えてくれるからです。

著者らは契約を参照画像に基づくキャプションにも拡張し、3つの性質を挙げます。スコープ付きバインディング、残余の十分性、権威の一貫性。さらにかなり図々しいデータ拡張の手法も説明しています。視覚的または音響的に十分似ている2本の動画なら何でも、参照とターゲットとして使える。キャプションは両者が共有するものと、変化するものを記述する。そのペアは、実際の編集に由来する必要はありません。

人が実際に書くプロンプト

実際のユーザーはキャプションを書きません。3行書いて Enter を押します。だからスタックには2層のプロンプト拡張が入ります。意図をキャプション分布に翻訳する基本版と、凍結したテキストエンコーダと DiT をループに入れて強化学習を回す最終段階。映像レベルの報酬、すなわち画質、動きの質、テキスト整合で更新します。さらにその手前で動くエージェント層もあり、ストーリーを磨き、事例を検索します。制作現場のプロンプトの多くはそれ自体が AI の書いたもの、つまり長く、流暢で、内部で矛盾しているからです。

テキストエンコーダの節は予想外でした。良い条件付けエンコーダは、より強い言語能力ではなく知覚的な学習から生まれる。汎用の QA ベンチマークは自己回帰のデコードを測っているのであって、DiT が実際に消費する隠れ状態を測ってはいない。候補のエンコーダは、エンドツーエンドの学習に対価を払う前に、テキストだけでふるいにかけられる。バックボーンを適応させ、混合重みを安定化させることで、Qwen ベースラインに対する人手の選好比が 1.10 から 1.27 に上がった、と。

報酬は2つに分かれます。27B の上に構築した汎用報酬モデルは、欠陥タグ、時間区間、フレームごとのボックス、根拠を伴う説明可能な批評を書きます。決定報酬モデルは、1回のプリフィルで多数の次元を採点します。合わせて5つの仕事を担います。DiT の RL、プロンプト拡張の RL、機械評価、チェックポイント選択、データフィルタリングです。

数字と、ただし書き

最大モデルの報告値は、LongVideoBench 72.48、MVBench 77.88、MMBench-CN 89.52、LibriSpeech clean の単語誤り率 1.18 です。Kling-Captioner は 35B-A3B で VidCapBench の accuracy 21.84、coverage 94.81。比較対象の Doubao2.1-Lite は thinking モードで 20.23 と 94.15 です。決定報酬モデルは社内のペアワイズテストでマクロ精度 77.86、Gemini-4-Argon は 73.54。

ただし書きが2つあります。これらはチーム自身の数字であること。そして少なくとも1つの精読が、論文は報酬モデルの公開ベンチマークでの勝利を誇張していると指摘していること。Doubao との比較も一様ではなく、他のいくつかのベンチマークでは競合モデルが上回ると、著者自身が書いています。そういう告白は全勝より信用できますが、見出しの数字が独立したものになるわけではありません。

より深い論点はそのまま残ります。品質が構成的なら、単一の集約スコアは何も診断できません。同じ悪いクリップが、監督を落としたキャプションから来ることも、時間構造を捨てた条件付けから来ることも、滑らかだが静止した動きを好む報酬モデルから来ることも、プロンプトが求めた事象を一度もテストしていない評価器から来ることもあります。論文の推奨は、分解されたタスク別の評価です。動画機能を出荷したことがある人なら、「モデルが悪い」が「テストが盲目だった」だった回数を知っているはずです。

Kling の外でなぜ重要か

この1年、目に見える競争は解像度、尺、秒単価でした。どれも現実的で、表で比較しやすい項目です。このレポートは、その表が測っている層が違うと論じ、しかも競合が推論を検証できるだけの内部詳細を添えています。

著者が正しければ、次の勝ちはより良いレンダラーからは来ません。「クライアントが何を意味したか」から「生成器が何を実行するか」への、最もきれいなパイプラインを作ったところから来ます。そして、そのチェーンのどのリンクが壊れたかを、速く具体的に言えるところから来ます。

関連記事