Der Storyboard-Moment: Warum Keyframes wichtiger sind als die Laufzeit

Videomodelle haben zwei Jahre lang darum konkurriert, wie lang ein Clip sein konnte, den sie erzeugen konnten. Die nützlichere Fähigkeit steckte die ganze Zeit unter den Laufzeitangaben, und sie verändert, wofür ein Videomodell gedacht ist.

Zehn Keyframes sind die Zahl. Kling 4.0 hat die Unterstützung für bis zu zehn Keyframe-Eingaben angekündigt, ein Fortschritt gegenüber der Start-und-Endbild-Steuerung der vorherigen Generation. Solaris von Runway treibt die Idee in eine verwandte Richtung weiter, indem es Interfaces Frame für Frame rendert, statt ein Design in Code zu kompilieren. Beide deuten auf denselben Wandel hin: Das Modell wird gebeten, Markierungen zu treffen, statt zu improvisieren.

Der Wandel ist wichtig, weil er verändert, wofür das Modell gedacht ist. Ein System, das improvisiert, ist eine Ideenquelle. Ein System, das Markierungen trifft, ist ein Produktionsschritt. Der größte Teil des Geldes in der Videoproduktion steckt in der Produktion, weshalb Steuerungsfunktionen tendenziell diejenigen sind, die ein Modell von einer Demo zu einem Budgetposten machen.

Was die Start-und-Endbild-Steuerung nicht konnte

Die frühere Generation von Videotools akzeptierte zwei Frames, einen ersten und einen letzten, und das Modell füllte den Raum dazwischen. In der Praxis war das eher eine Lotterie als ein Produktionswerkzeug. Anfang und Ende waren festgelegt, und alles dazwischen war die Vermutung des Modells. Ein Regisseur, der eine bestimmte Aktion an der Drei-Sekunden-Marke brauchte, hatte keine Möglichkeit, sie anzufordern.

Das ist das Problem, das zehn Keyframes lösen. Zehn Kontrollpunkte verwandeln eine einzelne Interpolation in eine Reihe von Segmenten, und jedes Segment kann gesteuert werden. Die praktische Konsequenz für alle, die nach einem Skript produzieren, ist, dass die Mitte der Einstellung aufhört, zufällig zu sein. Wenn die Aktion an einem bestimmten Beat landen soll, setzen Sie dort einen Keyframe, und das Modell füllt darum herum.

Begleitende Funktionen verstärken dies. Kling 4.0 akzeptiert bis zu 15 multimodale Referenzen, die bis zu 10 Bilder, 5 Videoclips und 7 Subjektdefinitionen umfassen können, sodass das Aussehen einer Figur, die Details eines Produkts und die Optik eines Ortes über eine Sequenz hinweg fixiert werden können. Die Prompt-Länge ist auf 8.000 Tokens angewachsen, lang genug, um eine Einstellung statt einer Stimmung zu beschreiben.

Diese Kombination – viele Kontrollpunkte plus viele Referenzen plus ein langer Prompt – beschreibt eine andere Art von Werkzeug als die Generierungsoberflächen von vor einem Jahr. Sie ähnelt eher dem Bedienfeld eines 3D-Renderers als einer Chatbox. Vom Nutzer wird erwartet, dass er mit einem Plan kommt, nicht dass er einen durch Iteration entdeckt.

Das Referenzlimit ist der Teil mit der größten praktischen Bandbreite. Sieben Subjekte über eine Sequenz hinweg fixieren zu können bedeutet, dass eine wiederkehrende Besetzung, ein wiederkehrendes Produkt und ein wiederkehrender Ort innerhalb einer Generierungsaufgabe konsistent bleiben können – genau das, was eine Serie braucht. Nichts am Modell muss neu trainiert werden, um ein Subjekt hinzuzufügen. Sie fügen eine Referenz hinzu und benennen sie.

Die Aufgabe des Regisseurs verändert sich

Wenn die Generierung eine Lotterie ist, lautet der Workflow: generieren, prüfen, neu generieren – und die Fähigkeit des Regisseurs liegt darin, einen Prompt zu schreiben, der die Chancen verbessert. Wenn die Generierung Markierungen trifft, wird der Workflow zu: entwerfen, Keyframes setzen, prüfen, ein Intervall anpassen. Die Fähigkeit verschiebt sich vom Prompt-Handwerk zur Shot-Planung.

Wer schon in Animation oder VFX gearbeitet hat, wird den zweiten Workflow wiedererkennen. Es ist Keyframe-Animation, bei der ein Modell das Inbetweening übernimmt, und die Werkzeuge fügen sich in etablierte Praxis ein, statt eine neue Disziplin zu erfinden. Das macht die Fähigkeit für Produktionsteams nutzbar: Sie passt in einen Prozess, den sie bereits fahren.

Es verändert auch den Fehlermodus. Eine schlechte Generierung ist kein verschwendeter Würfelwurf mehr; sie ist ein Intervall, das einen neuen Keyframe braucht. Sie reparieren den Teil, der kaputt ist, statt die ganze Einstellung neu zu generieren und zu hoffen.

Wohin die Frame-für-Frame-Idee als Nächstes geht

Dieselbe Logik erscheint in anderer Form in Solaris von Runway, das eine Oberfläche und ihre Reaktion auf Eingaben Frame für Frame rendert und damit den Schritt entfernt, ein Design in Code zu kompilieren. Die dahinterstehende Behauptung ist, dass ein Weltmodell Pixel direkt erzeugen kann, sodass die Zwischenrepräsentation überflüssig wird.

Beide Fälle stellen dem Modell dieselbe Frage: nicht „mach etwas Plausibles“, sondern „erzeuge genau dieses spezifische Ding zu genau diesem spezifischen Zeitpunkt“. Der Wert eines generativen Systems steigt stark, wenn es an eine Vorgabe gehalten werden kann, denn das ist der Unterschied zwischen einem Entwurf und einem lieferbaren Ergebnis.

Der Unterschied liegt darin, was ersetzt wird. Die Keyframe-Steuerung ersetzt die Zufälligkeit in der Mitte einer Einstellung. Solaris entfernt einen Übersetzungsschritt, der schon immer verlustbehaftet war, bei dem ein Design und seine codierte Umsetzung mit der Zeit auseinanderdriften. In beiden Fällen übernimmt ein generatives Modell Arbeit, die früher zu einem Zwischenprozess gehörte, und das Argument, es zuzulassen, ist in beiden Fällen dasselbe: Der Zwischenschritt war der Ort, an dem Wiedergabetreue verloren ging.

Worauf man achten sollte

Die offene Frage ist, ob die Keyframe-Steuerung bei den Modellen standhält, auf die die Leute tatsächlich zugreifen können. Die vollen Fähigkeiten von Kling 4.0 werden noch ausgerollt; zuerst ausgeliefert wurde die Flash-Stufe, und der Veröffentlichungszeitpunkt ist schon zuvor aus dem angekündigten Oktober-Fenster gerutscht. Ankündigungen über Steuerungsfunktionen waren historisch verlässlicher als die Funktionen selbst.

Die zweite Frage sind die Kosten. Feine Steuerung bedeutet mehr Keyframes, mehr Referenzen und längere Prompts, und die sekundengenaue Abrechnung bedeutet, dass die Rechnung mit jedem Regler wächst. Ein Team, das Keyframe-Steuerung einführt, muss entscheiden, wie viele Kontrollpunkte ihre Kosten rechtfertigen, und diese Rechnung ist nicht offensichtlich, wenn die Preisseite einen einzigen Sekundensatz nennt.

Die dritte Frage ist, ob sich die Oberflächen entsprechend ändern. Ein Modell, das zehn Keyframes und fünfzehn Referenzen akzeptiert, braucht eine Timeline, keine Textbox, und die ersten Anbieter, die eine ordentliche Timeline für generative Videos bauen, werden ein Problem gelöst haben, das ihre Wettbewerber noch nicht bemerkt haben.

Diese Schwelle ist der Punkt, an dem KI-Video aufhört, eine Demo-Kategorie zu sein. Die Dauer war nie der schwierige Teil.

Aus demselben Wandel folgt eine Implikation für die Personalbesetzung. Wenn Modelle Markierungen treffen, wird die Person, die eine Einstellung planen kann, wertvoller als die Person, die einen Prompt schreiben kann, der manchmal eine erzeugt. Die Fähigkeiten, die übertragbar sind, stammen aus der traditionellen Produktion: zu wissen, was eine Einstellung kommunizieren muss, wo eine Aktion landen sollte, wie sich ein Schnitt anfühlen soll. Diese waren in der Lotterie-Ära abgewertet worden und kommen wieder ins Spiel, wenn das Modell gesteuert werden kann.

Die verbleibende Frage ist, wer Zugang zur Steuerung bekommt. Günstige Modelle und steuerbare Modelle sind noch nicht zusammengewachsen, und die Preisspanne zwischen ihnen ist groß. Wenn Präzision hinter einer Premium-Stufe bleibt, landet der praktische Nutzen bei Studios, die ohnehin Produktionsbudgets hatten. Wenn sie sich nach unten ausbreitet, kann ein einzelner Creator mit einem Skript und einem Plan Arbeit liefern, für die früher ein Team nötig war.