ComfyUI schreibt jetzt ProRes, und Alpha ändert die Pipeline

ComfyUI v0.44.0 ist am 4. November erschienen. Unter den Änderungen war ein Pull Request mit der Nummer 17463, der ProRes-Ausgabe hinzufügt. Der Changelog-Eintrag ist drei Zeilen lang. Es ist die folgenreichste Sache im Release und wahrscheinlich die uninteressanteste zum Lesen.
Warum. Bisher war der Weg H.264, wenn man einen Clip in ComfyUI erzeugte und ihn in einen Schnitt bringen wollte. Man rendert ein MP4, importiert es und lebt mit den Folgen: 8 Bit Farbe, 4:2:0-Chroma und ein Codec, der für Auslieferung gebaut ist, nicht für Weiterverarbeitung. Jede weitergegebene Generierung war schon degradiert, bevor der Editor sie anfasste. Einmal graden, und das Banding zeigt sich im Himmel.
ProRes ist ein Intermediate-Codec. Er existiert, um geschnitten zu werden, nicht um ausgeliefert zu werden. Der Unterschied in einer Post-Pipeline ist ungefähr der zwischen einem JPEG und einem Rohdatei-Äquivalent in der Hand.
So benutzt man es
Zwei Wege, beide einfach.
In **Save Video** mov als Container wählen. Das schreibt ProRes.
In **Create Video** gibt es eine neue Einstellung namens chroma_subsampling. Auf 444 gesetzt, bekommt man ProRes 4444. Auf 422 gesetzt, ProRes 422 HQ. Diese Zuordnung kommt aus dem Code, behandeln Sie sie als Wahrheit und nicht das Label in einem Menü.
Die Tests des Releases schreiben und lesen ProRes 4444 mit transparentem Alpha-Kanal zurück, was der wichtigste Teil ist und der im Commit-Text kaum erwähnte.
Eine Stolperfalle, ebenfalls aus dem Code: Wer 12 Bit anfordert, bekommt 10 Bit und eine Warnung in der Konsole. ProRes 4444 unterstützt 12 Bit, diese Implementierung nicht, jedenfalls noch nicht. Wer 12 Bit für ein Grading braucht, wird woanders fertig werden.
Und eine Anmerkung zum Encoder. Hier kommt FFmpegs prores_ks zum Einsatz, nicht Apples eigener ProRes-Encoder. prores_ks ist gut, weit verbreitet und dekodiert sauber in Premiere und Resolve. Er ist auch nicht byte-identisch mit dem, was Final Cut schreibt, was nur zählt, wenn die Pipeline einen Validierungsschritt hat, der Encoder-Ausgaben vergleicht. Die Dateien sind so oder so groß.
Warum Alpha den Workflow ändert
Ein transparenter Alpha-Kanal in einem generierten Clip heißt: Der Clip ist eine Ebene, keine Platte.
Diese Unterscheidung entscheidet, ob KI-Material in einer normalen Pipeline komponiert werden kann. Ohne Alpha legt man den generierten Clip entweder auf ein Vollbild und schneidet drumherum, oder man rotoskopiert ihn von Hand, oder man dreht vor Grün und keyt ihn, was den Zweck verfehlt, weil man den Hintergrund auch generiert hat.
Mit Alpha kann eine generierte Figur über einer realen Aufnahme sitzen. Ein generiertes Produktrendering lässt sich auf einen fotografierten Tisch legen. Ein generiertes Rauch-Element lässt sich mit dreißig Prozent Deckkraft über eine Platte legen. Das sind völlig gewöhnliche Dinge in einem Compositing-Workflow und völlig unmögliche, wenn die einzige Ausgabe ein opakes MP4 ist.
Der Haken: Das Modell muss das Alpha erzeugen, und die meisten Videomodelle tun das nicht. Sie erzeugen RGB-Frames, weil sie auf Footage trainiert wurden, und Footage hat kein Alpha. Das neu unterstützte Ausgabeformat ist den Modellen, die es nutzen würden, also voraus. Das ist in Ordnung und normal. Formatunterstützung ist eine Voraussetzung, und die ist jetzt erfüllt.
Wer mit Modellen arbeitet, die Mattes erzeugen, oder mit Bild-Pipelines, die Freisteller generieren und dann animieren, für den ist ProRes 4444 der Container, der den Roundtrip verlustfrei macht. Man generiert, speichert mit Alpha, legt es in Resolve, und die Kante ist sauber, weil unterwegs nichts chroma-unterabgetastet wurde.
Der H.264-Umweg, erklärt
Wer nie in der Post gearbeitet hat, für den klingt die H.264-Sache wie ein kleines Ärgernis. Ist sie nicht, und der Grund ist zwei Absätze wert.
H.264 ist in seiner üblichen Form 8 Bit, 4:2:0. Jedes Pixel hat 256 Stufen pro Kanal, und die Farbinformation liegt bei einem Viertel der Auflösung der Helligkeitsinformation. Das ist ein brillanter Satz Kompromisse, um Video auf ein Telefon zu streamen. Es ist eine furchtbare Grundlage für Weiterverarbeitung, weil jede Operation des Editors, von der Kurvenkorrektur bis zum Key, den Quantisierungsfehler verstärkt, der schon eingebacken ist.
ProRes 422 HQ ist 10 Bit 4:2:2. ProRes 4444 ist 10 oder 12 Bit mit voller Farbauflösung und, entscheidend, einem Alpha-Kanal. Die Dateien sind fünf- bis zehnmal größer. Das ist der ganze Tausch.
In einer normalen Pipeline wird dieser Overhead akzeptiert, weshalb Kameras ProRes oder Raw drehen, und weshalb Editoren Proxies für Tempo erstellen, aber immer auf die hochbitratige Quelle zurückgehen. Der Intermediate-Codec ist das, was den Schnitt überlebt.
KI-Generierung hat diese Annahme gebrochen, weil die Werkzeuge außerhalb der Schnittsuite lebten. Man generierte im Browser oder in einem Python-Skript, bekam ein MP4, und die Pipeline passte sich der Grenze an, indem sie generiertes Material als fertiges Material behandelte statt als Quelle. Das funktionierte, solange KI-Shots Insert-Aufnahmen waren. Es hört in dem Moment auf, in dem ein generierter Shot ein Grading, einen Key oder eine Blendung braucht.
Was das nicht behebt
Codec-Unterstützung ist kein Farbmanagement. ProRes zu schreiben sagt der empfangenden Anwendung nicht, ob das Material Rec.709, sRGB oder etwas anderes ohne Tag ist. Wenn der generierte Clip in Resolve anders aussieht als in ComfyUI, ist der Codec nicht das Problem.
Es behebt auch nicht zeitliche Konsistenz, Auflösung oder Bewegung. Ein 720p-Clip mit flackernden Details bleibt ein 720p-Clip mit flackernden Details, jetzt in einer größeren Datei. ProRes konserviert Artefakte getreu. Das ist sein Job.
Und die 12-Bit-Lücke ist real für alle, die schwer graden oder VFX-Pulls machen. Zehn Bit reichen für die meiste Auslieferung, und sie reichen nicht für einen Hero-Shot, der zwei Stops gepusht wird.
Der größere Punkt
Das Interessante an dieser Änderung ist, dass sie langweilig ist.
Zwei Jahre lang ging es in der KI-Video-Debatte um Modellqualität: Wer hat die beste Bewegung, wer kann Hände, wer hält die Figur konsistent. Diese Debatte ist real und nicht vorbei. Aber die Workflow-Debatte entscheidet über Adoption, und sie besteht genau aus solchen Änderungen. Ein Codec. Ein Chroma-Subsampling-Flag. Ein Alpha-Kanal, der einen Roundtrip übersteht.
Niemand schreibt einen Thread über ein Container-Format. Jeder, der einen Nachmittag damit verbracht hat, generierte MP4s zu transcodieren, bevor ein Editor sie annahm, hat diesen hier bemerkt.
ComfyUI erhebt keinen Anspruch, ein professionelles Werkzeug zu sein, und dort bauen sehr viele Leute tatsächlich KI-Video-Pipelines, und ein Node-Graph ist ein erstaunlich ehrlicher Ort, um zu sehen, was eine Pipeline wirklich braucht. Wenn der Graph anfängt, ProRes mit Alpha zu schreiben, heißt das, dass seine Nutzer von Clips zu Shots übergegangen sind. Das ist der Übergang, auf den es ankommt, und er taucht in keinem Benchmark auf.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.