← Retour au blog
AiEnviron 9 min de lecture

Faire de la vidéo avec du code : un modèle ouvert de 27B s'en est saisi

Publié le 7 nov. 2026
Faire de la vidéo avec du code : un modèle ouvert de 27B s'en est saisi

Sur Xiaohongshu, un post publié début novembre a été enregistré 1233 fois et 47 personnes se sont écharpées dans les commentaires. La thèse est directe : « Opus a coûté 291 yuans pour un motion design 3D. Je suis passé à Code2Video, l'open source de SenseTime, et ça m'a coûté 2,8. Un facteur 100. »

Ce genre de post ne survit généralement pas trois jours, parce qu'il est trop facile à contredire. Le commentaire le plus voté s'en charge bien : en comptant le debug et les reprises, rester sur Opus 5.5 revient peut-être moins cher. Le prix unitaire bas se paie en temps et en nombre d'itérations.

Mais derrière ce post, il y a quelque chose qui mérite un vrai regard. Le 28 octobre, SenseTime a mis les poids de SenseNova 6.8 Code2Video sur Hugging Face : 27B paramètres, 512K de contexte, Apache-2.0 sur la carte du modèle. Ce qu'il fait n'est pas de la même catégorie que Sora ou Runway. Il ne devine pas des pixels. Il écrit du code.

Chaque image est une fonction du temps

Un modèle vidéo classique échantillonne toute la séquence d'un coup. Vous voulez les sous-titres deux crans plus gros : il faut redonner le prompt, rééchantillonner, et le pire, c'est que ce que vous n'avez pas demandé à changer peut bouger aussi. Le visage ne correspond plus.

Code2Video entre par une autre porte. Il écrit du HTML/CSS, du Canvas, du SVG, du Three.js, du Manim ou du p5.js, et définit chaque image comme une fonction pure du temps t : donnez n'importe quel instant, le programme calcule de façon unique la position, la déformation et la couleur de chaque élément à cette milliseconde. Le rendu capture image par image, sans dépendre de l'horloge temps réel du système. Le même code lancé cent fois donne une sortie identique.

Une boucle de photogrammes 35mm vierges qui luit faiblement sur une table en verre éclairée, sans aucune inscription.

L'approche a un effet de bord : le texte et les chiffres ne bavent plus. Les sous-titres, les formules, les valeurs d'un graphique sont composés depuis le code source, pas devinés en pixels. Quiconque a fait de la vidéo IA sait que le texte à l'image est le premier endroit qui casse, le chinois surtout.

Modifier coûte aussi moins cher. Les éléments du code ont des noms ; changer une taille de police, un instant, une palette, c'est toucher ces lignes-là, et rien d'autre. L'exemple officiel est un tableau d'affichage à volets dans un aéroport, retouché en trois passes : d'abord un panneau sombre sous un projecteur, puis un hall pastel lumineux, enfin un avion et des voyageurs traînant leurs bagages. Sur les trois passes, le texte, le timing et le mouvement des volets que personne n'avait demandé à changer sont restés exactement pareils.

SenseTime a aussi publié les prompts utilisés pour fabriquer les films et les logs d'agent complets, y compris les erreurs rencontrées. Le dépôt contient un dossier skills/code-video avec 8 guides de domaine. Lu d'un bout à l'autre, cela ressemble plus à un manuel pour apprendre à votre agent à faire de la vidéo qu'à une carte de modèle.

Il manque encore 483 points au classement

La valeur de cette approche se lit sur un classement.

HeyGen a mis à jour sur Kaggle un tableau appelé Code2Video : on donne au modèle un brief créatif détaillé, il écrit du code dans le framework HyperFrames pour produire une séquence, puis on le note contre une référence faite par un humain. Les huit premiers sont tous des modèles fermés. Claude Opus 5.5 est premier, à 33,5 % brut. Les modèles ouverts comme GLM, Kimi et DeepSeek tournent autour de 10 %.

Artificial Analysis a reproduit cette évaluation avec une mesure plus fine : Opus 5.5 est à 1536 Elo, le meilleur modèle généraliste ouvert, DeepSeek V4.1 Flash, à 1053. 483 points d'écart.

Une phrase des notes du classement m'a convaincu : beaucoup de modèles de pointe savent écrire du HTML, du CSS et du JS, mais pour transformer du code en vidéo fiable, il faut comprendre l'image dans la dimension du temps, pas seulement dessiner une jolie page statique. Savoir faire une page web, ce n'est pas savoir filmer. Une page statique gagne en plaçant bien ses éléments ; une vidéo doit faire bouger les éléments au bon moment, à la bonne vitesse, dans le bon ordre — quand le titre entre, comment les blocs de chiffres suivent le rythme, sur quelle image tombe le coup de grosse caisse.

D'où un entre-deux peu confortable : pour le résultat, on paie un modèle fermé, plusieurs dizaines de yuans la séquence, sans déploiement local ; pour économiser en open source, les modèles généralistes n'ont pas été entraînés pour la vidéo. Code2Video remplit cet espace, par la spécialisation.

Trois factures à poser d'abord

La première, c'est le matériel. 27B paramètres, poids BF16 autour de 54GB. La documentation donne trois commandes de déploiement, LightLLM, vLLM et SGLang, toutes en parallélisme tensoriel 4, quatre cartes minimum, et le contexte 512K demande de la mémoire KV en plus. Cela fait peur, mais le socle Qwen3.8-27B est économe : quantifié en Q4, il fait environ 18GB, et une seule 4090 de 24GB suffit. Sur Douyin, un créateur sur un Mac Studio 64G a donné un seul prompt pour que l'IA détecte la configuration, installe l'environnement, déploie le modèle, puis le branche dans Claude Code via CC Switch, sans taper presque aucune commande. Un autre fait tourner la version quantifiée 4 bits sur une machine ordinaire avec 32G de RAM.

La deuxième, c'est le temps. Officiellement, il tient plus de 10 heures et plus de 2000 tours. Lu à l'envers, cela veut dire : le travail prend ce temps-là de toute façon. En pratique, une séquence finie demande de quelques dizaines de minutes à une ou deux heures, selon la puissance locale. Ce n'est pas de la vidéo en un clic, c'est de la vidéo laissée tourner.

La troisième, c'est la compétence. Les limites officielles le disent : motion design, vulgarisation, scènes 2D/3D stylisées, dataviz, oui ; images filmées en prises de vues réelles, non. Le créateur de Douyin a essayé plusieurs choses : banc de poissons qui change de direction en synchronie sans leader, un chat dessiné en séries de Fourier, avec plus de cercles pour un contour plus net, dispersion par prisme, interférence à deux sources, double pendule chaotique, bielle-manivelle, ruban de Möbius. C'est fluide, et le point est clair. Ce sont précisément des images qui s'écrivent en code. Si vous voulez la texture du live action et des plans de cinéma, ce n'est pas ça.

La documentation elle-même suggère de confier l'enrichissement du prompt à un modèle plus fort comme Claude. Cette honnêteté est rare.

La licence porte deux étiquettes

« Le code est utilisable commercialement » mérite un point d'interrogation. La carte du modèle sur Hugging Face indique Apache-2.0, mais la racine du dépôt GitHub n'a pas de fichier LICENSE pour l'instant, et l'API GitHub ne lit aucune licence. Le dépôt a aussi la particularité d'exécuter des commandes shell, et le README avertit explicitement de le lancer dans un environnement isolé.

Au 4 novembre, le dépôt GitHub compte environ 390 étoiles et la page du modèle HF 93 likes. En jargon, encore very early. L'équipe n'a pas non plus monté de benchmark systématique, seulement des exemples qualitatifs, et la finition comme la stabilité sur la durée sont nettement derrière les meilleurs modèles fermés. Ce qu'on voit, ce sont des films d'exemple, pas des scores.

Si vous comptez l'utiliser, un détail vaut d'être copié : il embarque une série de scripts de vérification dont l'idée est de lire à froid les images clés, générer des planches contact, vérifier la résolution, le nombre d'images, les images noires et les images figées. La recette ne note que ce qu'on voit dans les pixels, pas ce qui est écrit dans le code. Ce principe dure plus longtemps que le modèle, parce qu'un code qui tourne ne garantit pas une image juste : une formule décalée d'un cran, des sous-titres coupés, un sujet trop petit, et le compilateur ne dit rien.

Ce qui a vraiment cédé, c'est le coût marginal

Revenons au post du début. Il ne dit pas que l'open source a rattrapé le fermé. Le classement est là, 483 points d'écart, et ce trou ne se comblera pas à court terme.

Ce qui a cédé, c'est le coût marginal. Quelqu'un a fait tourner Opus 5.5 sur 9 agents en parallèle pendant 6 heures pour une bande-annonce, brûlé 187 millions de tokens, et reçu une facture de 190 dollars. Un autre a dépensé 270 dollars pour une vidéo de 8,5 minutes, dont 200 dollars de reprises. En fermé, le cher n'est pas la génération, c'est la reprise : six passes, six factures.

Une fois le modèle sur votre machine, cent séquences coûtent à peu près ce que coûte une seule ; il ne reste que l'électricité. Un écart de cet ordre compte concrètement pour trois profils : les réseaux de comptes en phase de lancement, qui ont besoin de coûts bas et publient vulgarisation, données, classements, où le volume rend la consommation de tokens en fermé terrifiante ; les entreprises publiques et administrations qui doivent déployer en intranet, modèle, base de connaissances et application physiquement isolés, données interdites de sortie ; et les formateurs et enseignants qui refont leurs supports, où une animation de 30 secondes vaut mieux que mille phrases.

Le point de bascule n'est pas « qui est le plus fort », mais « qui peut refaire, encore et encore, à coût nul ». C'est justement le point faible du fermé, et l'endroit où un petit modèle comme le 27B gagne le plus.

Articles associés