Eyeline Studios von Netflix: Generative KI schafft 60 Prozent, der Rest ist die eigentliche Arbeit

Der nützlichste Satz, der diesen Monat auf einer VFX-Konferenz fiel, war eine Absage.

„Wir prompten uns nicht in Shots und Filme hinein. Das sind wir nicht.“ Das ist Mohsen Mousavi, Vice President of Virtual Pioneering bei Eyeline Studios, dem Netflix-eigenen Effekthaus, auf der View Conference in Turin. Zu seinen Credits gehört die letzte Staffel von Game of Thrones – die Absage ist also keine Naivität gegenüber dem, was Generatoren können. Sie ist eine Aussage darüber, wo die Arbeit tatsächlich liegt.

Interessant ist seine Schätzung dieser Grenze: Generative Modelle bringen eine Produktion ungefähr 60 bis 70 Prozent weit. Bis auf 100 Prozent zu kommen, darauf kommt es an.

Was „hybride Produktion“ in der Praxis bedeutet

Eyelines Methode ist nicht „den Shot generieren“. Es ist eine Dreier-Mischung: Realdreh, konventionelle visuelle Effekte und generative Werkzeuge – und die Aufteilung wird pro Shot entschieden, nicht pro Projekt.

Der Workflow beginnt, bevor die Kameras laufen. Eine generative Art Department erkundet Designs parallel zu traditionellen Artists. Dann kommt die Technik, die den Großteil der Last trägt: Sparsets. Darsteller spielen auf teilweise gebauten physischen Sets, relativ flach ausgeleuchtet, und Umgebung wie Licht werden danach neu gebaut, während die ursprüngliche Performance intakt bleibt.

Mousavi beschreibt das als Erweiterung der traditionellen Art Department, nicht als Ersatz. Diese Formulierung leistet echte Arbeit. Die Aufgabe einer Art Department war immer zu entscheiden, was die Kamera sieht; Eyeline verlegt einen Teil dieser Entscheidung später in den Ablauf.

Darüber liegt eine Schicht Volumetric Capture. Material, das an einem Ort gedreht wurde, lässt sich in eine andere Umgebung verwandeln, und einige dieser Umgebungen entstehen ganz ohne Greenscreen. „Das gibt uns Freiheit beim Licht und Freiheit bei der Kamera, nachdem die Performances gedreht sind“, sagte Mousavi – mit dem Vorbehalt, dass Identität und Performance des Schauspielers den Prozess überleben müssen.

Zwei Produktionen, zwei verschiedene Probleme

Für Brazil '70: The Third Star, das Drama über den WM-Titel der Nationalmannschaft 1970, musste Eyeline Stadien mit Menschenmengen füllen, die emotional reagieren statt gekachelt wirken. Die Lösung war keine einzelne Technik: gefilmte Crowd-Elemente, Sprites, konventionelles CG und generative Methoden, geschichtet. Mousavis Argument ist ein Budget-Argument, kein künstlerisches – dieselbe Arbeit mit traditionellen VFX „wäre in diesem Budget sehr, sehr schwer zu machen gewesen“.

Für The American Experiment, eine fünfteilige historische Dokumentation, war die Arbeit leiser: Hintergrunderweiterungen und generativer Staub, integriert in gedrehtes Material. Staub ist ein gutes Beispiel dafür, wo diese Technologie wirklich stark ist. Er ist volumetrisch, in einer Straßenszene der Zeit überall vorhanden, teuer überzeugend zu simulieren – und niemand im Publikum wird ein Partikel faktenchecken.

Eyeline zeigte außerdem, wie sich das scheinbare Alter eines Darstellers ändern lässt, ohne die darunterliegende Schauspielarbeit anzutasten, und einen Research-Kurzfilm über die Anpassung von Kameraposition und Licht nach dem Dreh. James Rustad, der Eyelines GenFX-Gruppe leitet, gab dem Publikum in Busan die Größenordnung von Brazil '70: mehr als 1.300 VFX-Shots, 45 Artists und ein vierstufiger Workflow – Setup, Narrative, Look, Delivery – mit einer menschlichen narrativen Entscheidung bewusst zwischen Experiment und Finishing.

Der ehrliche Teil: Fluide

Konferenzvorträge enden meist mit der stärksten Demo. Dieser hier schloss die schwächste mit ein, absichtlich.

Eyeline arbeitet an kontrollierbaren generativen Fluiden, und Mousavi war direkt, was den Stand angeht: Diese Simulationen sind nicht deterministisch und sehr schwer zu kontrollieren. Das Ziel sind Keyframe-Kontrolle über Geschwindigkeit, Viskosität und Turbulenz, plus die Möglichkeit, Schaum oder Gischt hinzuzufügen, ohne die zugrunde liegende Simulation zu stören.

Dann sagte er etwas, das nur ein praktizierender VFX-Supervisor sagt: Oft will man in den visuellen Effekten eigentlich die Physik des Fluids brechen. Echtes Wasser ist nicht dramatisch genug. Gebraucht wird keine physikalische Genauigkeit, sondern dirigierbare Ungenauigkeit. Das ist ein völlig anderes Ziel als das, worauf ein Text-to-Video-Modell optimiert – und es erklärt, warum das Studio eigene Werkzeuge baut, statt die eines anderen zu prompten.

Weitere gezeigte Forschung: das Restyling eines Gaussian-Splat-3D-Captures vom Winter in den Herbst, KI-gestütztes Relighting menschlicher Performances und der Versuch, aus einer Single-Camera-Aufnahme eine navigierbare 4D-Szene zu bauen. Zum Training der Relighting-Systeme nutzt Eyeline ein Rig aus 40 synchronisierten RED V-Raptor-Kameras und hat außerdem portableres Capture-Equipment gebaut.

Der Trade-off, den niemand zeigt: flaches Licht und Eyelines

Sparsets sind eine clevere Umkehrung einer sehr alten Einschränkung. Traditionell baut man das Set, damit die Kamera etwas Echtes zu filmen hat, und leuchtet es passend zur Geschichte aus. Eyeline dreht die Reihenfolge um: die Performance unter relativ flachem, gleichmäßigem Licht drehen, dann die Welt darum herum neu bauen.

Flaches Licht ist der Preis. Es ist absichtlich uninteressant, denn interessantes Licht, das in die Platte eingebacken ist, wird zum Problem, wenn man die Umgebung ersetzt – man kann keine Lampe dorthin stellen, wo keine war, wenn das Gesicht des Schauspielers schon einen harten Schatten von einem Fenster trägt, das es nicht mehr gibt. Flach zu drehen hält die Performance brauchbar und schiebt jede Lichtentscheidung nachgelagert, dorthin, wo sie sich noch ändern lässt.

Was sich nicht nachgelagert schieben lässt, ist die Performance selbst. Eyelines Formulierung ist hier konsequent: Identität und Schauspiel müssen überleben. Eine neu gebaute Umgebung rettet keinen Take, in dem man sieht, dass der Darsteller auf einen Tennisball am Stock geschaut hat. Die Technik kauft Freiheit beim Licht und bei der Kamera, nicht Freiheit von der Regie.

Deshalb besteht das Studio auch darauf, Erweiterung der Art Department zu sein und nicht Ersatz. Irgendjemand muss weiterhin entscheiden, wie der Raum aussieht, bevor ihn später jemand ersetzen kann.

Warum die 60/70 die ganze Geschichte sind

Denken Sie daran, woraus die letzten 30 Prozent im professionellen Post bestehen: zeitliche Konsistenz über einen Shot, Auflösung, die ein 4K-Finish übersteht, hoher Dynamikumfang, und die Fähigkeit eines Kameramanns zu sagen „links dunkler, und das Fensterlicht sollte später am Tag kommen“ – und das reproduzierbar an einem Donnerstag zu bekommen.

Generative Modelle sind außergewöhnlich in den ersten 60 Prozent, weil dort die Neuheit wohnt. Sie sind schwach in den letzten 30, weil dort die Konsistenz wohnt – und Konsistenz ist das Gegenteil von Sampling.

Deshalb war die Antwort des Studios auf „welche Foundation Models nutzt ihr“ auch ein Schulterzucken. Mousavi sagte, der Großteil der Arbeit basiere auf eigener Forschung und eigenen Modellen, dazu externe Partnerschaften und eigens gedrehte Trainingsdaten. Modelle sind der einfach zu mietende Teil. Das Capture-Rig, die Trainingsdaten und die Pipeline, die einen Shot reproduzierbar macht, sind es nicht.

Der Teil, den die Branche bemerken sollte

Netflix erklärte im Juli, rund 300 Titel hätten irgendeine Form generativer KI genutzt. Außerdem hat das Unternehmen Ben Afflecks Filmtechnologie-Firma InterPositive gekauft. Beide Fakten zusammen beschreiben eine Strategie, bei der es nicht ums Ersetzen von Artists geht: Es geht um den Kauf der Pipeline, die eine feste Zahl von Artists mehr Shots abdecken lässt.

Mousavi kam immer wieder auf einen Satz zurück, der wie eine Beschaffungsanforderung klingt: „Wir wollen sicherstellen, dass es keine Blackbox ist.“ Kameraleute und Production Designer müssen das Ergebnis formen können. Wenn nicht, wird das Werkzeug nicht in einer Produktion eingesetzt, egal wie gut die Demo aussieht.

Das ist die eigentliche Trennlinie im KI-Video gerade. Nicht offen gegen geschlossen, nicht 4K gegen 1080p. Sondern ob jemand mit einer konkreten Absicht die Ausgabe steuern kann – und ob sie sich morgen erneut steuern lässt, wenn der Regisseur seine Meinung ändert. Sechzig Prozent sind einfach. Die letzten vierzig sind der Job.