Écrire du HTML, obtenir un MP4 : HyperFrames rend la vidéo constructible par un agent

Écrire du HTML, récupérer un MP4

HeyGen a open-sourcé HyperFrames ce mois-ci, et l'accroche est presque agressivement plate : écrire du HTML, rendre de la vidéo, conçu pour les agents. Il n'y a aucun modèle de diffusion là-dedans. Rien n'est rêvé. Vous écrivez une page web, elle est chargée dans Chrome headless, chaque frame est capturée au timestamp que vous avez demandé, et FFmpeg recolle le tout dans un fichier.

Ça ressemble à un retour en arrière, une année où les modèles vidéo sortent une rue crédible à partir d'une phrase. C'est l'inverse. HyperFrames règle la moitié de la production vidéo que les modèles génératifs font le plus mal : la partie qui doit sortir deux fois pareil.

Le projet est en Apache-2.0, environ 63 900 étoiles à la mi-octobre après en avoir pris plus d'un millier en une journée, et environ 811 000 téléchargements npm sur la semaine jusqu'au 12 octobre. C'est, de loin, ce qui s'est le plus imposé dans la catégorie un agent qui fait de la vidéo, et il y est arrivé sans générer un seul pixel original.

Ce que le déterminisme vous achète vraiment

Un modèle de diffusion vidéo, c'est un processus d'échantillonnage. Demandez deux fois le même prompt, vous obtenez deux vidéos différentes. Parfait quand vous explorez, catastrophique quand vous livrez.

HyperFrames fait l'inverse. Chaque composition est un index.html. Les clips sont des éléments ordinaires qui portent des data attributes pour le temps de départ, la durée et l'index de piste. L'animation vient de timelines GSAP, de keyframes CSS, de Lottie, de Three.js, d'Anime.js ou de la Web Animations API. Le renderer charge la page, saute à chaque frame par seek plutôt qu'en lisant en temps réel, capture, et passe la séquence à FFmpeg. Même entrée, mêmes frames, à chaque fois.

Cette propriété est ennuyeuse jusqu'à ce que vous mettiez un agent dans la boucle. Un agent qui change une ligne de texte doit savoir que le reste de la vidéo n'a pas bougé. Avec un modèle génératif, re-render après une correction de texte veut dire re-tirer tout le clip et espérer que le timing survive. Avec un renderer déterministe, la correction est une correction.

Il y a un bénéfice de second ordre qui compte plus pour les équipes que pour les individus : une vidéo devient un artefact diffable. On voit ce qui a changé entre la version trois et la version quatre, parce que c'est du HTML.

Les skills sont le vrai produit

Le renderer, c'est la partie facile. Le plus dur, c'est d'apprendre à un agent de code à écrire une composition qui ne ressemble pas à une page web avec une vidéo dedans.

HyperFrames embarque 21 agent skills, avec /hyperframes en routeur qui lit la demande et choisit un workflow. Le catalogue est découpé comme de vrais boulots, pas comme des fonctionnalités : une vidéo de lancement produit à partir d'une URL ou d'un brief, un explainer sans visage à partir d'un texte, un passage musique-vers-vidéo qui cale les coupes sur le beat, des sous-titres incrustés, un remontage de talking head, et des formats courts de motion design pour des logo stings et des cartes de chiffres. Les skills marchent avec Claude Code, Codex, Cursor et Gemini CLI.

La pièce la plus maligne, c'est frame.md. Pas mal de marques maintiennent aujourd'hui un design.md - couleurs, échelle typographique, règles d'espacement - qu'un agent peut lire. Le problème, c'est que ces règles sont écrites pour des écrans. Appliquées à la vidéo, un agent va très tranquillement produire du corps de texte en 14 pixels et une barre de navigation, parce que c'est ce que disent les règles. frame.md réécrit le même système de marque à l'échelle vidéo : du texte lisible à bout de bras, des compositions qui survivent à un recadrage 16:9, du mouvement qui a de la place pour aller quelque part. La galerie livre une douzaine de systèmes de départ, dont un look de magazine sportif vintage construit autour d'un seul rouge saturé.

C'est le genre de détail pas glamour qui décide si une vidéo faite par un agent a l'air pro. Un modèle qui génère une belle image ne sait pas que votre marque a un rouge précis. Un fichier de skill, si.

La comparaison avec Remotion, honnêtement

HyperFrames s'inspire ouvertement de Remotion, le framework vidéo basé sur React. L'équipe a utilisé Remotion en production, a gardé dans le code les commentaires d'attribution pour les patterns qu'il a inventés, et a fait un pari différent : Remotion vous demande d'écrire des composants React, HyperFrames vous demande d'écrire du HTML.

L'échange est clair. Remotion vous donne un vrai modèle de programmation et une étape de build. HyperFrames n'a aucune étape de build, un index.html tourne tel quel, et s'appuie sur le fait que les modèles de langage sont extrêmement bons en HTML et CSS, et juste bons en React. Pour un outil agent-first, c'est le bon pari, parce que le mode d'échec que vous cherchez à éviter, c'est un agent qui écrit du JSX plausible qui ne compile pas.

Les prérequis sont modestes : Node 22 ou plus récent, FFmpeg, Chrome. Chaque worker de rendu consomme environ 256 Mo de RAM. Pas de GPU. Les rendus tournent en local, sur AWS Lambda, ou via le service hébergé de HeyGen, et c'est là que l'argent est : le rendu local ne coûte rien au-delà de votre machine, l'hébergé est facturé au crédit, et la 4K à 1,5×.

La version 0.8.145, sortie le 10 octobre, a ajouté l'export GPU dans HyperFrames Studio et corrigé un bug qui laissait les longs exports bloqués à 90 %, une petite note de release qui en dit long sur l'endroit où en est vraiment le projet. Ce n'est pas une démo de recherche. C'est un outil avec un bug tracker et des utilisateurs qui remarquent quand une barre de progression ment.

Les limites, sans détour

HyperFrames ne peut pas inventer de rushes. Si vous avez besoin d'une foule, d'une cascade ou d'un visage qui fait quelque chose de précis, c'est le mauvais outil et il faut passer par un modèle vidéo. Il rend ce que vous décrivez en code : typographie, graphiques, parcours d'UI, lower thirds, typographie cinétique, objets 3D que vous avez déjà, vidéo que vous avez déjà tournée.

La sortie vaut exactement ce que vaut le HTML que l'agent écrit. Un agent faible produit un diaporama avec des fondus. Les skills relèvent nettement le plancher, mais ils ne remplacent pas le goût, et ils ne sauveront pas un prompt qui n'a jamais dit à quoi servait la vidéo.

Et l'app desktop Studio demande désormais une connexion avec un compte HeyGen, ce qui est une décision commerciale raisonnable et un rappel que le gratuit, c'est le moteur, pas tout le produit.

Pourquoi c'est plus important qu'un modèle vidéo de plus

La dernière année d'IA vidéo a été une course sur le même axe : des clips plus longs, une meilleure physique, des personnages plus cohérents. Tout ça est un vrai progrès, et tout ça parle de génération.

Mais une grande part de la vidéo pro n'est pas de la génération. C'est un graphique qui doit s'animer correctement, un lower third qui doit apparaître à 0:03, un titre qui doit rester lisible sur un téléphone. Ces boulots n'attendaient pas un meilleur modèle. Ils attendaient un moyen de confier le travail à quelque chose qui ne s'ennuie pas et ne dérive pas.

HyperFrames est cette passation, et son argument le plus fort ne porte pas sur la qualité. Il porte sur le fait que le déterminisme est une fonctionnalité. Un outil qui produit la même sortie à partir de la même entrée est un outil sur lequel on peut bâtir un pipeline. Le reste, c'est une machine à sous très impressionnante.