Le dernier maillon du pipeline H3 passe à l'open source

La dernière semaine d'octobre, un jeu de poids nommé Open-H3-Regenerate-2K est apparu sur Hugging Face. Le nom est peu élégant, l'origine beaucoup moins : l'équipe Efficient-Large-Model, montée conjointement par NVIDIA et le MIT, avec le code d'inférence dans le dépôt NVlabs/Sana.

Ce qu'il fait tient en une phrase : prendre un brouillon vidéo en basse résolution et le régénérer en version haute définition. Il gère le 2560×1440 et monte jusqu'au 3840×2160. À une condition : que le brouillon ait été produit par H3 de MiniMax.

La diffusion de cette annonce en Chine n'a pas suivi le même cours qu'à l'étranger. Ailleurs, on discute l'arrivée d'un jeu de poids open source de plus. Sur Bilibili, on s'écharpe sur autre chose : comment préserver la cohérence. Fin octobre, un tutoriel ComfyUI combinant Z-Image et Wan2.2 a décroché le meilleur score du jour, et les commentaires demandaient tous si le visage du personnage allait changer, si les plans s'enchaînaient. Ce qui inquiète vraiment, ce n'est pas le niveau de qualité d'image, c'est de savoir si, dans un même film, la personne reste la même personne.

Le pipeline H3 était cassé au dernier maillon

Les poids de MiniMax H3 ont été publiés en août. L'éditeur découpe le système en trois étages : traitement du contexte multimodal, génération audio-vidéo de base, régénération haute résolution. Seuls le premier étage et, dans le deuxième, H3-Base — chargé de produire de l'audio-vidéo en 768P — sont ouverts. Le troisième, H3-Regenerate-2K, celui qui pousse le 768P jusqu'en 2K, n'a jamais été accessible que par API.

Cette répartition est somme toute logique. Le modèle génératif gère ce qu'il y a, le modèle de raffinement gère à quel point c'est net. Le problème, c'est qu'à partir du moment où le dernier maillon n'existe qu'en API, le flux de travail du créateur local se bloque là : on peut tourner en 768P sur sa propre carte graphique, mais pour obtenir une copie capable de passer sur grand écran, il faut envoyer les rushes, payer à l'usage et accepter la file d'attente du serveur d'en face.

Ce que NVIDIA et le MIT ont fait, c'est combler ce maillon. Ils n'ont pas touché au backbone de H3, ni au VAE vidéo : tous les paramètres sont gelés, et seule une couche LoRA de raffinement ajoutée pour l'occasion a été entraînée — l'équivalent d'une paire de lunettes posée sur le modèle d'origine. À l'inférence, cette LoRA se fusionne avec des adaptateurs déjà disponibles dans la communauté, comme FL2VA Turbo de LightX2V ou LMS Sharp, puis on ne lance que trois étapes de débruitage pour faire repousser le détail à la résolution cible. La scène, la composition et la trajectoire de mouvement du brouillon sont conservées ; seule la netteté est remplacée.

D'où vient le facteur 3,9

Quand on fait de la restauration haute définition en open source, ce qui fait peur n'est pas la piètre qualité du résultat, c'est une lenteur qui le rend inutilisable. Les conditions publiées par l'équipe : une seule B200, un clip de 5 secondes après préchauffage, en additionnant l'agrandissement dans l'espace latent, les trois étapes de raffinement et le décodage 2K. L'implémentation non optimisée prend 87.26 secondes, la version optimisée 22.45 secondes. Soit environ 3.9 fois.

Le gain vient principalement de deux endroits. D'abord l'upscaler latent, réalisé par la communauté : il agrandit directement la représentation latente de la vidéo et supprime le coût des décodages puis recodages répétés en haute résolution. Ensuite le décodeur : le passage à un décodage VAE rapide fait tomber cette seule étape d'environ 15 secondes à 1.6 seconde. S'y ajoutent l'attention clairsemée de SoL-Engine et le calcul en basse précision.

Ce chiffre ne prend son sens que dans un cas concret. Pour un court métrage de 30 secondes, en six segments de 5 secondes, 22 secondes par segment donnent un peu plus de deux minutes de régénération, sans compter la file d'attente ni les relances après échec. Avant, ce pipeline demandait un bon quart d'heure, et on n'osait pas changer de fenêtre pendant ce temps. Désormais, on peut au moins faire autre chose en parallèle.

Évidemment, la B200 n'est pas une carte grand public. Sur une carte grand public, le même pipeline demande plusieurs fois plus de temps. L'équipe ne donne aucune mesure sur 4090 ou 5090 : il faudra essayer soi-même.

De meilleurs scores que l'API officielle, mais sur des points très précis

L'équipe a comparé sur RefinerBench-150, entrées identiques, sorties toutes en 2K. Sur UniPercept, l'évaluation de qualité perceptuelle, cette version open source obtient 60.0 en moyenne, contre 53.4 pour l'API officielle H3-Regenerate-2K. Un écart de 6.6 points.

Du côté de VBench, la conclusion est plus intéressante : qualité esthétique, qualité d'image et cohérence du sujet tournent à l'avantage de l'open source ; la fluidité du mouvement et le dynamisme reviennent de peu à l'API officielle. En clair, la version open source rend chaque image plus belle et plus stable, au prix d'un mouvement parfois lissé de façon un peu prudente. Pour du face caméra, de la présentation produit ou des rushes documentaires, où la composition statique domine, c'est tout bénéfice ; pour du combat, de la danse ou des mouvements de caméra rapides, le calcul peut ne pas être rentable.

Un autre point mérite l'attention : le score de cohérence du sujet est plus élevé. Ce qui tombe pile sur la préoccupation première de la communauté sinophone. Là où la régénération dérape le plus souvent, c'est sur les visages et les textures de vêtements : à force de retoucher image par image, le protagoniste finit par devenir quelqu'un d'autre. Les chiffres montrent qu'au moins sur le palier 2K, le raffinement joue en faveur du maintien de l'identité.

Sa place : non pas un nouveau modèle, mais un patch du pipeline

Pour comprendre l'intérêt de la chose, mieux vaut ne pas la regarder comme un modèle. C'est un intergiciel.

Depuis un an, les progrès de la génération vidéo se sont surtout faits sur « peut-on générer » et « sur quelle durée ». Ces deux axes rendent désormais de moins en moins, et le goulot d'étranglement s'est déplacé en aval : que faire une fois le brouillon obtenu. La pratique courante consiste à produire d'abord un brouillon basse résolution par un moyen bon marché et rapide, à valider le découpage, le rythme et les personnages, puis à envoyer les plans arrêtés en mise en haute définition. Cette étape, jusqu'ici une API payante ou un upscaling manuel, dispose maintenant d'une implémentation open source déployable soi-même.

Pour un créateur indépendant, cela change la structure de coûts : on achète une carte une fois, ensuite on paie l'électricité. Pour une petite équipe, cela veut dire programmer la mise en haute définition en traitement par lots nocturne et récupérer les rushes au matin. Pour une plateforme, cela veut dire ne plus payer un péage à chaque régénération.

Ce n'est pas pour autant un déjeuner gratuit. Il faut les poids de H3-Base, accepter le plafond de qualité d'un brouillon en 768P, et disposer de la VRAM pour encaisser un décodage 2K. Si le brouillon est mal composé ou que le personnage est faux, la régénération ne fera que rendre l'erreur plus nette.

L'écosystème court déjà devant le modèle

Depuis l'ouverture de H3 en août, plus de 24 millions de téléchargements en un mois et plus de 300 modèles dérivés publics : l'un des modèles les plus téléchargés de l'année. La chaîne d'outils autour de lui pousse vite : LightX2V a sorti des versions Turbo distillées en quatre et huit étapes, la version fine-tunée communautaire Singularity est dédiée au mouvement, au visage et au style, FastVideo a proposé un aperçu FastH3 en quatre étapes, Pika un H3 Flex à six étapes d'échantillonnage, et ComfyUI comme Unsloth ont chacun apporté leur adaptation et leur quantification.

L'équipe NVIDIA-MIT ne s'est pas arrêtée là : outre cet enrichissement vidéo, elle a publié StreamRender-H3, un modèle de rendu en flux basé sur H3 Ref2VA, ainsi que Sol-H3-VAE, un décodeur rapide distillé du VAE vidéo de H3.

Ce rythme — un modèle de base ouvert, des modules supérieurs comblés un à un par des équipes externes — est en réalité une première pour l'écosystème vidéo open source. Avec un effet secondaire : l'avantage relatif de l'API officielle se réduit. Quand on obtient en local, en trois étapes de débruitage, un meilleur score perceptuel, la raison de payer passe de « c'est meilleur » à « c'est plus simple ».

Faut-il essayer

Si vous produisez déjà avec H3, ce dépôt vaut un clone et une exécution. Deux choses à regarder : la cohérence du sujet de vos rushes en 2K, et la capacité de votre carte à terminer le décodage dans un temps acceptable. Si vous ne générez qu'occasionnellement quelques clips, l'API officielle reste plus confortable : les 22 secondes de régénération, dans le cloud, c'est quelqu'un d'autre qui les attend.

Ce qui mérite vraiment l'attention, c'est la direction. La génération vidéo passe de « tout en un coup » à un processus en deux temps, brouillon puis finition, et ce temps de finition dispose désormais d'une option open source. Dans les six mois à venir, ce qui déterminera la productivité d'un créateur ne sera peut-être pas le modèle qu'il utilise pour générer, mais la fluidité de son pipeline de post-traitement.