Un clip vidéo comme cahier des charges : 31 jeux pour 202 $

31 jeux. 1 013 appels à fal. 202 $. C'est le décompte en bas du README de video-to-game, et c'est le paragraphe le plus convaincant du dépôt — pas parce que les jeux sont bons, mais parce que quelqu'un a compté.
Le projet lui-même est une compétence, pas une application. Vous l'installez dans Claude Code, Codex ou Cursor, vous lui donnez un clip de gameplay de dix à quinze secondes, et il produit un niveau de navigateur jouable : un seul index.html avec Three.js et rien d'autre. Pas de moteur, pas de template, pas d'autre bibliothèque. Chacun des 31 jeux de démonstration a été reconstruit à partir d'un clip qu'un modèle vidéo avait généré d'abord.
Plusieurs personnes ont construit des démos « l'IA fait un jeu » cette année. Ce qui rend celle-ci digne d'examen, c'est l'affirmation précise en dessous : un agent ne sait pas concevoir l'apparence d'un jeu, alors arrêtez de lui demander. Laissez un modèle vidéo s'en charger, puis faites en sorte que l'agent s'y conforme.
La vidéo est le document de design
Lisez la plainte du README et vous la reconnaîtrez immédiatement si vous avez déjà essayé :
Quand on demande « un jeu où un garçon plane entre des baleines volantes », ils livrent des boîtes grises, un ciel par défaut et une caméra qui se bat contre le joueur.
C'est exactement ce qui se passe. Un agent de code à qui l'on demande de construire une scène va chercher des primitives — des boîtes, des plans, une lumière hémisphérique — parce que les primitives sont ce qu'il sait exprimer en code. Il n'a pas d'opinion sur la composition. Il n'a pas de goût sur la densité du brouillard. Le résultat est techniquement une scène et émotionnellement un niveau de test.
Un modèle vidéo, quels que soient ses autres défauts, est très bon précisément sur la pièce manquante : l'apparence, la caméra, l'ambiance, un moment mémorable. Le pipeline inverse donc l'ordre habituel. La vidéo d'abord, puis le code qui doit s'y conformer.
study_video.py transforme le clip en images, planche contact, palette et instants de coupe. L'agent écrit ensuite une spec à partir d'images nommées — caméra, héros, la mécanique unique, le moment clé, l'apparence. Pas « un niveau de forêt ». Plutôt : caméra basse à deux mètres derrière le héros, brouillard vert froid à six mètres, une source de lumière bleu-vert à gauche, la mécanique est le vol plané.
Tout ce qui suit est une affaire de correspondance.
Chaque asset vient des images du clip lui-même
Des planches de concept avec Nano Banana Pro. Des détourages propres. De l'image vers la 3D via Meshy, Tripo ou Hunyuan 3D. Du rigging et de l'animation. Des effets sonores et de la musique. Le tout journalisé via fal_asset.py. La règle du README est brutale : rien de dessiné à la main, rien de téléchargé.
Cette contrainte fait plus de travail qu'elle n'y paraît. Un humain qui construit un jeu à partir d'une référence téléchargera un modèle d'arbre en espérant qu'il s'intègre. Un agent autorisé à télécharger ira chercher le premier résultat d'un site d'assets gratuits, et la direction artistique s'effondre en collage. En forçant chaque asset à passer par le même générateur, amorcé par les mêmes images, la palette reste cohérente par construction.
L'apparence est traitée comme une spec, pas comme une passe de finition : tone mapping, un seul étalonnage, brouillard, bloom, vignettage et grain, tous dérivés de la première scène. Après chaque modification, l'agent produit une comparaison côte à côte de la vidéo et du jeu aux mêmes trois endroits.
Ce côte à côte, c'est toute la méthodologie en un artefact. Sans lui, l'agent optimise contre sa propre imagination. Avec lui, l'agent optimise contre une référence qu'il peut réellement voir.

L'agent joue à son propre jeu
C'est la partie que je n'attendais pas, et celle qui sépare le projet d'une bande de démo.
Un scénario clavier pilote le jeu et lit window.__game comme un joueur lit l'écran. record_play.mjs filme le résultat à la fréquence réelle via Playwright. best_window.py trouve les secondes les plus vivantes de cet enregistrement. Les chutes, les murs invisibles et les passages morts sont corrigés avant que quiconque d'autre joue.
Le playtest automatisé n'a rien de nouveau. Un playtest automatisé où l'agent corrige ensuite ce qu'il a vu, et où la preuve est une vidéo qu'il peut inspecter, c'est une boucle nettement plus serrée. Cela explique aussi le coût : l'agent fait tourner le jeu des dizaines de fois par itération.
La facture
Soyons précis, parce que ces chiffres sont la raison même de lire le dépôt.
31 jeux. 1 013 appels à fal, décomposés en 594 images, 194 modèles 3D et 290 sons et pistes musicales. 202 $ au total. Environ 6 $ par jeu.
Six dollars est un chiffre étrange à garder en tête, parce que c'est à peu près le prix d'un café et à peu près un millième du tarif journalier d'un artiste en contrat. Ce n'est pas non plus le coût réel — les tokens de l'agent de code ne sont pas dans ce chiffre, ni votre après-midi. Mais cela établit quelque chose d'utile : le coût marginal d'une petite scène 3D jouable est désormais assez bas pour qu'on puisse en jeter une.
Le hic, énoncé clairement dans le README : vous payez fal pour chaque asset, et les sorties sont des démos courtes, pas des produits finis. Un jeu à six dollars est une tranche verticale d'une sensation, pas un jeu que vous livreriez.
L'installation
Claude Code d'abord, puisque c'est le chemin le mieux pris en charge :
claude plugin marketplace add lovisdotio/video-to-game
claude plugin install video-to-game@video-to-game
Ou copiez le dossier de compétence à la main : cp -R skills/video-to-game ~/.claude/skills/.
Pour Codex, Cursor, Gemini CLI, Copilot et les autres :
npx skills add lovisdotio/video-to-game
Les scripts demandent Python 3.9+, ffmpeg, Node 18+ avec playwright-core, et pip install fal-client plus une FAL_KEY.
Ensuite, le prompt tient en un paragraphe :
Turn gameplay.mp4 into a playable browser game with the video-to-game skill.
The prompt that made it is in gameplay.txt. Generate every asset with fal,
match the video's look, and show me side-by-side pairs and a recorded take
of you playing it.
Si vous n'avez pas de clip, le dépôt fournit prompts/gameplay-video-prompts.md — les règles qui ont rendu les 31 vidéos reconstructibles, plus tous les prompts utilisés. Ce fichier est discrètement la chose la plus précieuse du dépôt, parce qu'il encode ce qui fait d'un clip un bon document de design : une silhouette lisible, une seule mécanique, une caméra qui ne se bat pas contre le joueur.
De quoi parle vraiment tout ça
Il existe une version du récit de la génération de jeux par IA qui dit : les modèles finiront par faire des jeux directement. Peut-être. En attendant, ce projet décrit une division du travail qui fonctionne aujourd'hui — les modèles vidéo pour le goût, les agents de code pour la construction, l'image-vers-3D pour les assets, et un playtest automatisé pour fermer la boucle.
La question intéressante n'est pas de savoir si des jeux à six dollars sont bons. Ils ne le sont pas, pour la plupart. C'est ce qui se passe quand le même schéma est pointé vers quelque chose qui a un budget : une page de lancement produit, une borne de musée, une simulation de formation. Le pipeline ne se soucie pas de la destination du niveau.
Et il y a une leçon plus petite et plus tranchante pour quiconque construit de l'outillage d'agent. Si ce dépôt fonctionne, c'est qu'il a rendu la référence inspectable. Une vidéo est quelque chose qu'un modèle et une personne peuvent regarder, comparer et discuter. Donnez une spec à un agent et il satisfera la spec. Donnez-lui un clip et il devra correspondre à quelque chose de réel.
C'est une meilleure interface qu'un prompt. C'est peut-être la meilleure interface pour beaucoup de choses.
Articles associés
74 % : le chiffre qui décidera des trois prochaines années
Chez Nvidia, un point de marge brute vaut 3 milliards. À 74 %, puis 71 %, ce n'est pas une crise : c'est le chiffre qui dira si le marché croit encore au récit.
Trente-trois ans sans préparer de successeur
Un chasseur de têtes le dit sans détour : personne chez Nvidia n'a dirigé des milliers de personnes. La crise n'est pas le scandale, c'est l'organigramme.
99 milliards chez ses propres clients, et un nom technique embarrassant
Plus de 99 milliards investis chez ses propres clients. Lucent et Cisco l'ont fait avant elle, et l'histoire s'est mal terminée. La différence, cette fois, tient à un détail.
175 000 signatures, et un conseil qui compte autrement
175 000 signatures, dont 7 500 salariés, réclament le retour de Huang. Le conseil, lui, sait qu'une enquête non conclue rend tout retour impossible avant des mois.