ComfyUI écrit enfin du ProRes, et l’alpha change tout le pipeline

ComfyUI v0.44.0 est sorti le 4 novembre. Parmi les changements figurait une pull request numérotée 17463, qui ajoute la sortie ProRes. L’entrée du changelog fait trois lignes. C’est la chose la plus lourde de conséquences de la version, et sans doute la moins intéressante à lire.
Voici pourquoi. Jusqu’ici, si vous génériez un clip dans ComfyUI et le vouliez dans un montage, le chemin passait par le H.264. Vous rendiez un MP4, vous l’importiez, et vous viviez avec les conséquences : 8 bits, chrominance 4:2:0, et un codec conçu pour la diffusion plutôt que pour le retraitement. Chaque génération transmise était déjà dégradée avant que le monteur y touche. Un étalonnage, et le banding apparaît dans le ciel.
Le ProRes est un codec intermédiaire. Il existe pour être monté, pas pour être livré. La différence dans une chaîne de post-production est à peu près celle entre tendre un JPEG et tendre un fichier brut.
Comment l’utiliser
Deux façons, toutes deux simples.
Dans **Save Video**, choisissez mov comme conteneur. Cela écrit du ProRes.
Dans **Create Video**, il existe un nouveau réglage nommé chroma_subsampling. Réglez-le sur 444 et vous obtenez du ProRes 4444. Sur 422, du ProRes 422 HQ. Cette correspondance vient du code : traitez-la comme la source de vérité, pas comme le libellé d’un menu.
Les tests de la version écrivent puis relisent du ProRes 4444 avec un canal alpha transparent, ce qui est la partie la plus importante et la partie à peine mentionnée dans le message de commit.
Un piège, également tiré du code : si vous demandez du 12 bits, vous obtenez du 10 bits et un avertissement dans la console. Le ProRes 4444 accepte le 12 bits, cette implémentation non, du moins pas encore. Si vous avez besoin de 12 bits pour un étalonnage, vous finirez ailleurs.
Et une note sur l’encodeur. Celui-ci utilise prores_ks de FFmpeg, pas l’encodeur ProRes d’Apple. prores_ks est bon, très répandu, et se décode proprement dans Premiere et Resolve. Il n’est pas non plus identique octet pour octet à ce qu’écrit Final Cut, ce qui ne compte que si votre chaîne a une étape de validation qui compare la sortie de l’encodeur. Les fichiers sont volumineux dans les deux cas.
Pourquoi l’alpha change le flux de travail
Un canal alpha transparent dans un clip généré signifie que le clip est un calque, pas un plan.
Cette distinction détermine si une image générée peut être composée dans une chaîne normale. Sans alpha, soit vous posez le clip sur un plein cadre et vous coupez autour, soit vous le détourez à la main, soit vous tournez sur fond vert et vous faites un keying, ce qui annule l’intérêt puisque vous avez aussi généré le fond.
Avec l’alpha, un personnage généré peut se poser sur un plan réel. Un rendu produit généré peut être déposé sur une table photographiée. Un élément de fumée généré peut être superposé à un plan à trente pour cent d’opacité. Ce sont des gestes parfaitement ordinaires en compositing et parfaitement impossibles quand votre seule sortie est un MP4 opaque.
Le hic, c’est que le modèle doit produire l’alpha, et la plupart des modèles vidéo ne le font pas. Ils génèrent des images RVB parce qu’ils ont été entraînés sur des rushes, et un rush n’a pas d’alpha. Le format de sortie désormais pris en charge est donc en avance sur les modèles qui l’utiliseraient. C’est normal. La prise en charge d’un format est un prérequis, et il est maintenant rempli.
Pour ceux qui travaillent avec des modèles qui produisent des mattes, ou avec des chaînes d’images qui génèrent des détourages puis les animent, le ProRes 4444 est le conteneur qui rend l’aller-retour sans perte. Vous générez, vous enregistrez avec alpha, vous déposez dans Resolve, et le bord est propre parce que rien n’a été sous-échantillonné en chrominance au passage.
Le détour par le H.264, expliqué
Si vous n’avez jamais travaillé en post-production, l’affaire du H.264 ressemble à une gêne mineure. Ce n’est pas le cas, et la raison mérite deux paragraphes.
Le H.264 dans sa forme courante est 8 bits, 4:2:0. Chaque pixel a 256 niveaux par canal, et l’information de couleur est stockée au quart de la résolution de l’information de luminance. C’est un brillant ensemble de compromis pour diffuser une vidéo vers un téléphone. C’est une base détestable pour du retraitement, parce que chaque opération du monteur, d’une courbe à un keying, amplifie l’erreur de quantification déjà inscrite dans le fichier.
Le ProRes 422 HQ est 10 bits 4:2:2. Le ProRes 4444 est 10 ou 12 bits avec la résolution couleur complète et, surtout, un canal alpha. Les fichiers sont cinq à dix fois plus gros. Tout l’échange est là.
Dans une chaîne normale, ce surcoût est accepté, et c’est pourquoi les caméras tournent en ProRes ou en raw, et pourquoi les monteurs créent des proxys pour la vitesse mais reviennent toujours à la source à haut débit. Le codec intermédiaire est ce qui survit au montage.
La génération par IA a cassé cette hypothèse parce que les outils vivaient hors de la salle de montage. On générait dans un navigateur ou un script Python, on obtenait un MP4, et la chaîne s’adaptait à la limite en traitant les images générées comme des images finies plutôt que comme des sources. Cela marchait tant que les plans IA étaient des inserts. Cela cesse de marcher dès qu’un plan généré demande un étalonnage, un keying ou un mélange.
Ce que cela ne règle pas
La prise en charge d’un codec n’est pas de la gestion de la couleur. Écrire du ProRes ne dit pas à l’application qui reçoit si le métrage est en Rec.709, en sRGB ou autre chose sans étiquette. Si le clip généré n’a pas la même tête dans Resolve que dans ComfyUI, le codec n’est pas le problème.
Cela ne règle pas non plus la cohérence temporelle, la résolution ou le mouvement. Un clip 720p aux détails qui scintillent reste un clip 720p aux détails qui scintillent, désormais dans un fichier plus gros. Le ProRes préserve fidèlement les artefacts. C’est son métier.
Et l’écart du 12 bits est réel pour qui fait de l’étalonnage lourd ou des pulls VFX. Le 10 bits suffit largement pour la plupart des livraisons, et ne suffit pas pour un plan héros qu’on poussera de deux stops.
Le point plus large
Ce qui est intéressant dans ce changement, c’est qu’il est ennuyeux.
Pendant deux ans, la conversation sur la vidéo IA a porté sur la qualité des modèles : qui a le meilleur mouvement, qui gère les mains, qui garde le personnage cohérent. Cette conversation est réelle et elle n’est pas finie. Mais c’est sur le flux de travail que l’adoption se joue, et il est fait exactement de ce genre de changement. Un codec. Un drapeau de sous-échantillonnage de chrominance. Un canal alpha qui survit à un aller-retour.
Personne n’écrit un thread sur un format de conteneur. Tous ceux qui ont passé un après-midi à transcoder des MP4 générés avant qu’un monteur les accepte ont remarqué celui-ci.
ComfyUI ne prétend pas être un outil professionnel, et c’est là qu’un très grand nombre de gens construisent réellement des chaînes de vidéo IA, et un graphe de nœuds est un endroit étonnamment honnête pour voir ce dont une chaîne a vraiment besoin. Quand le graphe se met à écrire du ProRes avec alpha, cela veut dire que ses utilisateurs sont passés des clips aux plans. C’est cette transition qui compte, et elle n’apparaît dans aucun benchmark.
Articles associés
Un modèle dense de 65B dépasse des rivaux huit fois plus gros, pour 32 millions de dollars
Un modèle dense de 65B devance des rivaux de 500B et plus sur Terminal-Bench 2.1. Le chiffre qui compte n'est pas le score mais les 32 millions de dollars dépensés.
Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où
Le nouveau benchmark de biologie d'OpenAI montre que le meilleur modèle se trompe encore sur une interprétation de laboratoire sur trois. Les échecs documentés révèlent où la perception n'atteint pas la conclusion.
Antigravity déplace ses agents dans le cloud, sans votre outillage local
La version 2.29 d'Antigravity place l'agent dans une VM cloud qui survit à votre portable et utilise la voix pour approuver les permissions. L'outillage local ne suit pas.
NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique
Quatre modèles de monde ouverts de 16B et un décodeur qui émet la géométrie d'un seul coup. NVIDIA livre les deux moitiés, mais admet qu'il reste à mesurer l'apprentissage de politique.