← Zurück zum Blog
Aica. 7 Min. Lesezeit

Klings technischer Bericht: Der Engpass ist nicht der Renderer

Veröffentlicht 10. Nov. 2026
Klings technischer Bericht: Der Engpass ist nicht der Renderer

Das Kling-Team hat am 3. November einen technischen Bericht veröffentlicht, der weniger wie eine Modellankündigung liest und mehr wie ein Argument darüber, wo die Arbeit tatsächlich steckt. Der Titel ist nüchtern: „Behind Video Generation“. Die Behauptung ist weniger nüchtern. Die Qualität der Generierung, schreiben die Autoren, sei die Projektion von multimodalem Verständnis durch die gesamte Kette aus Daten, Konditionierung, Alignment und Evaluierung.

Aus dem Forschungsdialekt übersetzt heißt das: Das Zeichnen ist nicht mehr der schwierige Teil. Zu entscheiden, was gezeichnet werden soll, mit ausreichend Detail, und danach sagen zu können, warum eine Einstellung gescheitert ist – das ist der schwierige Teil.

Der Bericht hat knapp fünfzig Autoren und steht derzeit auf der Tagesliste der Papers bei Hugging Face, was für ein Dokument ohne Gewichte ein eigenes Signal ist. Veröffentlicht wird nichts. Kein Code, keine Checkpoints. Veröffentlicht wird eine Beschreibung des Stapels.

Frame, Clip, Shot, Sequenz

Das Papier beginnt mit einer Zeitleiste über vier Jahre. 2023 war aspirativ. 2024 brachte Demonstrationen, die beeindruckten und auf die man sich nicht verlassen konnte. 2025 führte zu Einstellungen, die eine Produktion tatsächlich verwenden konnte. 2026 ist das Jahr, in dem Systeme kohärente kurze Sequenzen erzeugen – mehrere Einstellungen, ein Subjekt, das bleibt, Performance, Bildsprache, Dialog, Musik, Effekte.

Die Einheit des Fortschritts hat sich mitbewegt: Frame, dann Clip, dann Shot, dann Sequenz. Das ist keine kosmetische Umbenennung. Qualität auf Sequenzebene ist kompositorisch. Bedingungen wechselwirken, Fehler summieren sich, und ein System muss aus unordentlichen Eingaben eine latente kreative Absicht erschließen und diese Absicht dann als Bedingungen ausdrücken, die ein Generator ausführen kann. Ein Modell, das immer nur an einzelnen Frames gemessen wurde, hat keinen Weg, das zu lernen.

A color grading suite with a large reference monitor and a timeline below it

Ein Backbone, viele Spezialisten

Darunter sitzt Kling-MLLM: ein autoregressives multimodales Modell, das Bilder, Video, Audio, synchronisiertes Audio-Video und verschachtelte Eingaben aufnimmt. Drei Größen – ein dichtes 27B, ein MoE mit 35B-A3B, ein MoE mit 397B-A17B –, wobei Sprach- und Vision-Backbone aus Qwen3.5- bis Qwen3.8-Checkpoints initialisiert werden.

Der Audio-Turm ändert sich mit der Skala. Kleinere Varianten folgen dem Qwen3-Omni-Design und kodieren 16 kHz Mono mit 13 Token pro Sekunde. Größere Varianten verschmelzen Mel- und Waveform-VAE-Merkmale in einem zweizweigigen Turm mit 25 Token pro Sekunde. Das Training läuft über einen Lehrplan in vier Stufen: akustische Initialisierung, gemeinsames multimodales Training, Erweiterung der zeitlichen Kapazität, Konsolidierung von langem Kontext.

Danach wird der Sockel zu Spezialisten weitergebildet – Captioner, Prompt-Verbesserer, Text-Encoder, Reward-Modell, Evaluator. Der Sinn eines gemeinsamen Backbones ist, dass visuelles, zeitliches und akustisches Wissen einmal gelernt und wiederverwendet wird, während jede nachgelagerte Aufgabe ihren eigenen Kompromiss zwischen Genauigkeit und Latenz wählt.

Ein Detail, das sich lohnt zu stehlen, auch wenn man Video nie anfasst: Das Mitteln der Gewichte der ersten und der letzten Lehrplanstufe war besser als jeder der beiden Checkpoints allein. Ein billiger Trick mit ungewöhnlich sauberem Ergebnis.

Die Caption ist ein Vertrag

Die Mitte des Berichts handelt von Captions, und das ist der Teil, den ich jedem geben würde, der beruflich Prompts schreibt.

Ein Diffusion Transformer sieht weit weniger Trainingsbeispiele als ein Sprachmodell, also muss jedes Beispiel so viel Information wie möglich tragen. Diese Information kommt als Caption, geschrieben von einem anderen Modell. Die Autoren behandeln eine Caption deshalb als semantischen Vertrag und legen sechs Informationsfamilien fest, die sie abdecken muss: Subjekt und Handlung; Raum und Komposition; Kameraarbeit und Licht; Zeit und Einstellungen; sichtbarer und hörbarer Text; Ästhetik.

Zu jeder Familie gibt es einen benannten Fehlerfall. Lässt man die Kamera-Felder weg, bekommt man, was das Papier generisches Kameroverhalten nennt – ansprechender, aber nicht reproduzierbarer Stil. Lässt man Subjekt und Handlung zu grob, erzeugt der Generator statisches Posieren, Rollentausch, unaufgelöste Aktionen. Diese Liste ist das Nützlichste im ganzen Dokument, weil sie „mein Prompt funktioniert nicht“ in eine Diagnose verwandelt.

Sie dehnen den Vertrag auf referenzgestützte Captions aus, mit drei Eigenschaften: begrenzte Bindung, Restsuffizienz, Autoritätskonsistenz. Und sie beschreiben einen Daten-Trick, der fast frech ist: Zwei beliebige Videos mit ausreichender visueller oder akustischer Ähnlichkeit lassen sich als Referenz und Ziel verwenden, die Caption beschreibt dann, was sie teilen und was sich ändert. Das Paar muss nicht aus einer echten Bearbeitung stammen.

Prompts, die Menschen tatsächlich schreiben

Echte Nutzer schreiben keine Captions. Sie schreiben drei Zeilen und drücken Enter. Deshalb enthält der Stapel eine Prompt-Verbesserung in zwei Schichten: eine einfache Version, die Absicht in die Caption-Verteilung übersetzt, und eine letzte Stufe, die Reinforcement Learning mit eingefrorenem Text-Encoder und DiT im Loop betreibt und auf Video-Belohnungen für Bildqualität, Bewegungsqualität und Textausrichtung aktualisiert. Davor läuft zusätzlich eine agentische Schicht, die die Geschichte schärft und Beispiele abruft, weil viele Produktions-Prompts selbst von KI geschrieben sind – lang, flüssig, intern widersprüchlich.

Der Abschnitt zum Text-Encoder war der, den ich nicht erwartet hatte. Die Behauptung: Ein guter Konditionierungs-Encoder entsteht durch perzeptives Training, nicht durch stärkere Sprachfähigkeit; allgemeine QA-Benchmarks messen autoregressives Dekodieren, nicht die verborgenen Zustände, die ein DiT tatsächlich konsumiert; und Kandidaten lassen sich allein anhand von Text vorfiltern, bevor jemand für End-to-End-Training zahlt. Die Anpassung des Backbones und die Stabilisierung der Mischgewichte hoben die menschliche Präferenzrate gegenüber einer Qwen-Baseline von 1,10 auf 1,27.

Die Belohnungen teilen sich in zwei. Ein allgemeines Reward-Modell auf Basis des 27B schreibt erklärbare Kritiken mit Fehler-Tags, zeitlichen Intervallen, Boxen pro Frame und Begründungen. Ein Entscheidungs-Reward-Modell bewertet viele Dimensionen in einem einzigen Prefill. Zusammen übernehmen sie fünf Aufgaben: DiT-RL, RL für Prompt-Verbesserung, maschinelle Evaluierung, Checkpoint-Auswahl, Datenfilterung.

Die Zahlen und der Vorbehalt

Gemeldete Werte für das größte Modell: 72,48 auf LongVideoBench, 77,88 auf MVBench, 89,52 auf MMBench-CN und eine Wortfehlerrate von 1,18 auf LibriSpeech clean. Kling-Captioner erreicht mit dem 35B-A3B 21,84 Genauigkeit und 94,81 Abdeckung auf VidCapBench, gegenüber 20,23 und 94,15 für Doubao2.1-Lite im Thinking-Modus. Das Entscheidungs-Reward-Modell kommt auf 77,86 Makro-Genauigkeit im internen Paarvergleich des Teams, gegenüber 73,54 für Gemini-4-Argon.

Zwei Vorbehalte. Das sind die Zahlen des Teams selbst, und mindestens eine genaue Lektüre hat argumentiert, das Papier überzeichne die öffentlichen Benchmark-Erfolge seines Reward-Modells. Auch der Vergleich mit Doubao ist gemischt – bei mehreren anderen Benchmarks liegt laut den Autoren ein Wettbewerber vorn. Diese Art von Eingeständnis ist glaubwürdiger als ein glatter Durchmarsch, aber sie macht die Schlagzeilenzahlen nicht unabhängig.

Der tiefere Punkt bleibt davon unberührt. Wenn Qualität kompositorisch ist, kann ein einzelner aggregierter Wert nichts diagnostizieren. Derselbe schlechte Clip kann aus einer Caption stammen, die eine Aufsicht ausgelassen hat, aus einer Konditionierung, die zeitliche Struktur weggeworfen hat, aus einem Reward-Modell, das glatte, aber statische Bewegung bevorzugt, oder aus einem Evaluator, der das Ereignis nie getestet hat, nach dem der Prompt gefragt hat. Die Empfehlung des Papiers lautet: zerlegte, aufgabenbezogene Evaluierung. Wer je ein Videofeature ausgeliefert hat, weiß, wie oft sich „das Modell ist schlecht“ als „der Test war blind“ herausstellt.

Warum das außerhalb von Kling zählt

Im letzten Jahr ging es im sichtbaren Wettbewerb um Auflösung, Dauer und Preis pro Sekunde. Das ist real, und es ist zugleich das, was sich in einer Tabelle am einfachsten vergleichen lässt. Dieser Bericht argumentiert, dass die Tabelle die falsche Schicht misst, und er tut das mit genug internem Detail, dass Wettbewerber die Argumentation prüfen können.

Wenn die Autoren recht haben, kommt die nächste Runde von Erfolgen nicht von einem besseren Renderer. Sie kommt von denen, die die sauberste Pipeline von „was der Kunde gemeint hat“ zu „was der Generator ausführt“ bauen – und von denen, die schnell und konkret sagen können, welches Glied in dieser Kette gebrochen ist.

Verwandte Artikel