Das letzte Glied der H3-Pipeline ist jetzt Open Source

In der letzten Oktoberwoche ist auf Hugging Face ein Gewichtssatz namens Open-H3-Regenerate-2K aufgetaucht. Der Name ist sperrig, die Herkunft dafür umso solider: das Team Efficient-Large-Model, das NVIDIA und das MIT gemeinsam aufgestellt haben, mit Inferenzcode im Repository NVlabs/Sana.

Was es tut, lässt sich in einem Satz sagen: Es nimmt einen niedrig aufgelösten Videoentwurf und generiert daraus eine hochauflösende Fassung. Unterstützt werden 2560×1440, nach oben bis 3840×2160. Voraussetzung ist allerdings, dass der Entwurf von MiniMax' H3 stammt.

In China hat sich diese Nachricht anders verbreitet als im Ausland. Dort diskutiert man, dass wieder ein Modell mit offenen Gewichten erschienen ist; auf Bilibili wird über etwas anderes gestritten: wie sich die Konsistenz halten lässt. Ende Oktober holte ein ComfyUI-Tutorial zu Z-Image in Kombination mit Wan2.2 die Tagesbestwertung, und in den Kommentaren wurde nur gefragt, ob die Person das Gesicht wechselt und ob die Einstellungen noch aneinander anschließen. Die eigentliche Sorge gilt nicht der Bildqualität, sondern der Frage, ob die Person in einem Film dieselbe bleibt.

Die H3-Pipeline war am letzten Glied ohnehin unterbrochen

MiniMax H3 hat die Gewichte im August veröffentlicht. Offiziell ist das Gesamtsystem in drei Stufen geteilt: multimodale Kontextverarbeitung, basisnahe Audio-Video-Generierung, hochauflösende Regenerierung. Offen sind nur die erste Stufe und aus der zweiten H3-Base, zuständig für Audio-Video in 768P. Die dritte Stufe, also H3-Regenerate-2K, das 768P auf 2K hebt, war durchgehend nur über eine API verfügbar.

Diese Arbeitsteilung ist eigentlich vernünftig. Das generative Modell kümmert sich um das Was ist da, das Verfeinerungsmodell um das Wie scharf. Das Problem: Sobald das letzte Glied nur als API existiert, stockt der Workflow lokaler Kreativer genau dort. Man kann auf der eigenen GPU bis 768P rechnen, aber für eine Fassung, die auf die große Leinwand kann, muss man das Material hochladen, pro Aufruf zahlen und die Warteschlange des fremden Servers in Kauf nehmen.

Was NVIDIA und MIT diesmal gemacht haben, ist genau dieses Glied zu schließen. Sie haben weder den H3-Backbone noch das Video-VAE angefasst, alle Parameter sind eingefroren, trainiert wurde nur eine neu hinzugefügte Verfeinerungs-LoRA – ungefähr so, als hätte man dem ursprünglichen Modell eine Brille aufgesetzt. Bei der Inferenz wird diese LoRA mit vorhandenen Adaptern aus der Community zusammengeführt, etwa FL2VA Turbo von LightX2V oder LMS Sharp, und dann laufen nur drei Denoising-Schritte, in denen sich das Detail in der Zielauflösung neu ausbildet. Szene, Bildaufbau und Bewegungsverlauf des Entwurfs bleiben erhalten, ersetzt wird allein die Schärfe.

Wie der Faktor 3,9 zustande kommt

Wer in der Open-Source-Community Hochskalierung betreibt, fürchtet weniger ein schwaches Ergebnis als eine Laufzeit, die jede Nutzung unmöglich macht. Die vom Team veröffentlichten Bedingungen: eine einzelne B200, ein 5-Sekunden-Clip nach dem Aufwärmen, und zwar das Hochskalieren im latenten Raum, die drei Verfeinerungsschritte und das 2K-Decoding zusammengerechnet. Die unoptimierte Implementierung braucht 87.26 Sekunden, die optimierte 22.45 Sekunden. Rund 3.9-mal so schnell.

Der Geschwindigkeitsgewinn kommt vor allem von zwei Stellen. Zum einen der Latent-Upscaler, aus der Community: Er skaliert die latente Repräsentation des Videos direkt hoch und spart das wiederholte Dekodieren und Neukodieren in hoher Auflösung. Zum anderen der Decoder: Mit einem schnellen VAE-Decoding fällt dieser eine Schritt von etwa 15 Sekunden auf 1.6 Sekunden. Dazu kommen die Sparse Attention von SoL-Engine und Rechnen in niedriger Präzision.

Die Zahl ergibt nur im konkreten Fall Sinn. Für einen 30-Sekunden-Kurzfilm, gerechnet als sechs Segmente à 5 Sekunden, sind das bei 22 Sekunden pro Segment gut zwei Minuten Regenerierungszeit – Warteschlange und Neustarts nach Fehlern noch nicht mitgerechnet. Früher dauerte dieser Ablauf eine gute Viertelstunde, und man traute sich währenddessen nicht, das Fenster zu wechseln. Jetzt kann man wenigstens parallel etwas anderes tun.

Natürlich ist eine B200 keine Karte für Normalsterbliche. Auf Consumer-GPUs multipliziert sich die Zeit für denselben Ablauf um ein Vielfaches. Offizielle Werte für 4090 oder 5090 gibt es nicht, das muss man selbst ausprobieren.

Höhere Scores als die offizielle API – aber an sehr konkreten Stellen

Das Team hat auf RefinerBench-150 verglichen, identische Eingaben, Ausgaben jeweils in 2K. Bei UniPercept, der Bewertung der wahrgenommenen Qualität, erreicht die Open-Source-Version im Schnitt 60.0, die offizielle H3-Regenerate-2K-API 53.4. Ein Unterschied von 6.6 Punkten.

Bei VBench ist das Ergebnis interessanter: Ästhetik, Bildqualität und Subjektkonsistenz liegen bei der Open-Source-Version vorn, Bewegungsglätte und Dynamik gehen knapp an die offizielle API. Auf gut Deutsch: Die Open-Source-Version macht jedes Einzelbild schöner und stabiler, bezahlt das aber damit, dass Bewegungen etwas vorsichtiger geglättet werden. Für Talking Heads, Produktvorführungen oder Dokumentarmaterial, wo statischer Bildaufbau dominiert, ist das ein Gewinn; bei Kampfszenen, Tanz oder schnellen Kamerafahrten kann es sich nicht rechnen.

Noch etwas ist bemerkenswert: Der Wert für Subjektkonsistenz ist höher. Das trifft genau den Punkt, der die chinesischsprachige Community am meisten umtreibt. Am häufigsten entgleist die Regenerierung bei Gesichtern und Stofftexturen – korrigiert man Bild für Bild, ist am Ende aus der Hauptfigur jemand anderes geworden. Die Daten zeigen, dass die Verfeinerung zumindest auf der 2K-Stufe der Identitätswahrung zugutekommt.

Sein Ort: kein neues Modell, sondern ein Patch für die Pipeline

Um den Wert dieser Sache zu verstehen, sollte man sie nicht als Modell betrachten. Sie ist Middleware.

Im vergangenen Jahr kam der Fortschritt bei der Videogenerierung vor allem bei Kann man generieren und Wie lang kann man generieren zustande. Der Grenznutzen dieser beiden Achsen sinkt, der Engpass hat sich nach hinten verschoben: Was macht man, wenn der Entwurf da ist. Üblich ist, zuerst billig und schnell einen niedrig aufgelösten Entwurf zu erzeugen, Storyboard, Rhythmus und Figuren zu prüfen und dann die festgelegten Einstellungen in die Hochskalierung zu geben. Dieser Schritt war bisher eine kostenpflichtige API oder manuelles Upscaling – jetzt gibt es eine selbst deploybare Open-Source-Implementierung.

Für unabhängige Kreative heißt das eine andere Kostenstruktur: einmal die Karte kaufen, danach nach Stromverbrauch rechnen. Für kleine Teams heißt es, die Hochskalierung in die nächtliche Stapelverarbeitung zu legen und morgens das Material abzuholen. Für Plattformen heißt es, nicht mehr für jede Regenerierung eine Maut zu zahlen.

Ein kostenloses Mittagessen ist es trotzdem nicht. Man braucht die H3-Base-Gewichte, muss die Qualitätsobergrenze eines 768P-Entwurfs akzeptieren und über genug VRAM für 2K-Decoding verfügen. Ist der Entwurf selbst falsch aufgebaut oder die Figur falsch, macht die Regenerierung den Fehler nur schärfer.

Das Ökosystem läuft dem Modell schon voraus

Seit der Öffnung von H3 im August: über 24 Millionen Downloads in einem Monat, mehr als 300 öffentliche Derivatemodelle – eines der meistgeladenen Modelle des Jahres. Die Toolchain darum wächst schnell: LightX2V brachte vier- und achtstufige Turbo-Distillationen, die Community-Feinabstimmung Singularity ist auf Bewegung, Gesicht und Stil spezialisiert, FastVideo lieferte eine vierstufige FastH3-Vorschau, Pika ein H3 Flex mit sechs Sampling-Schritten, und ComfyUI wie Unsloth steuerten je eigene Anpassungen und Quantisierungen bei.

Auch das NVIDIA-MIT-Team selbst hat nicht pausiert: Neben dieser Videoverbesserung wurden StreamRender-H3 veröffentlicht, ein Streaming-Rendering-Modell auf Basis von H3 Ref2VA, sowie Sol-H3-VAE, ein schneller Decoder, destilliert aus dem Video-VAE von H3.

Dieses Muster – offenes Grundmodell, darüber Module, die externe Teams eines nach dem anderen ergänzen – ist für das Open-Source-Videoökosystem tatsächlich eine Premiere. Es hat einen Nebeneffekt: Der relative Vorsprung der offiziellen API schrumpft. Wenn man lokal mit drei Denoising-Schritten einen höheren Wahrnehmungswert erzielt, verschiebt sich der Grund zu zahlen von besserer Qualität zu weniger Aufwand.

Sollte man es ausprobieren

Wer schon mit H3 produziert, sollte dieses Repository klonen und einmal durchlaufen lassen. Zwei Dinge zählen: die Subjektkonsistenz des eigenen Materials in 2K und ob die eigene Karte das Decoding in akzeptabler Zeit schafft. Wer nur gelegentlich ein paar Kurzclips generiert, ist mit der offiziellen API weiterhin entspannter – die 22 Sekunden Regenerierung wartet in der Cloud jemand anderes für einen.

Entscheidend ist die Richtung. Videogenerierung wandert vom in einem Durchgang fertig zum zweistufigen Verfahren aus Entwurf und Feinarbeit, und für die Feinarbeit gibt es jetzt eine Open-Source-Option. In den kommenden sechs Monaten entscheidet über die Produktivität eines Kreativen womöglich nicht, mit welchem Modell er generiert, sondern wie reibungslos seine Postprocessing-Pipeline getaktet ist.