Un jeu jouable en 480p sur une seule carte graphique

Kunlun Tech, la société chinoise derrière le navigateur Opera et l'application de karaoké StarMaker, a ouvert un jeu ce mois-ci. Pas un jeu fabriqué avec de l'IA. Un jeu où le jeu est un modèle vidéo, tournant à 60 images par seconde sur une seule RTX 5090.
Le projet s'appelle Matrix-Game 4.0, et la description de l'entreprise est étonnamment précise sur la boucle : le code génère la logique de jeu, des contraintes structurées définissent l'image, et le modèle vidéo la rend en temps réel. Le chiffre attaché à cette boucle est une image 480p à 60 fps avec une latence d'entrée de bout en bout sous 150 millisecondes.
Si ces chiffres tiennent, c'est la première fois qu'un modèle du monde est jouable plutôt que regardable. Ce n'est plus la même catégorie d'objet.
Pourquoi 150 millisecondes est le chiffre qui compte
Les modèles vidéo savent produire des images convaincantes depuis environ deux ans. Le problème n'a jamais été la qualité d'un plan. C'était la boucle.
Un modèle du monde interactif doit faire une chose qu'un générateur vidéo ne fait pas : répondre à une entrée dans le délai qu'un humain perçoit comme immédiat, et se souvenir de ce qui s'est passé avant. Ratez le premier et on a l'impression d'un bureau à distance. Ratez le second et le monde dérive : on se retourne et la porte a bougé, le couloir est un autre couloir.
Les documents publics de Kunlun décrivent exactement ces deux défaillances comme ce contre quoi la 4.0 a été construite : des modèles du monde interactifs classiques dépendant de grappes multi-GPU en centre de données, une difficulté à maintenir l'état du monde, et une dérive visuelle sur longue horizon. Leur correctif annoncé est de l'ingénierie d'inférence, pas un modèle plus gros, d'où une livraison en 480p et non en 1080p. On ne peut pas avoir à la fois la résolution, la fréquence d'images et la latence sur une seule carte. Ils ont choisi les deux qui rendent le jeu jouable.
Le 480p n'est pas joli. Sur un écran de 27 pouces, ça ressemble à une vidéo de 2008. C'est cependant suffisant pour tester si une idée de jeu fonctionne, et c'est tout le marché du prototype de jeu.

La boucle en trois parties, sans le marketing
« Le code génère la logique de jeu, des contraintes d'image structurées, le rendu temps réel par modèle vidéo » est une phrase compressée. Dépliée, c'est une division du travail assez élégante.
La couche code possède les règles. Santé, inventaire, temps de recharge, collisions, état des quêtes. C'est de la programmation de jeu ordinaire, déterministe, bon marché et facile à inspecter. Surtout, cela signifie qu'on ne demande pas au modèle du monde de se souvenir que le joueur a une clé. La clé est une variable.
La couche contraintes possède la composition. Où est la caméra, ce qui est dans le cadre, comment la scène est éclairée, ce que porte le personnage. Au lieu d'un prompt textuel décrivant une scène, le modèle reçoit une description structurée de la scène qu'il doit rendre ensuite. C'est une tâche bien plus étroite que « générer un jeu », et les systèmes temps réel ne peuvent se payer que des tâches étroites.
Le modèle vidéo possède les pixels. Il rend l'image contrainte, conditionnée par l'image précédente pour que le mouvement reste continu.
Ce qui est intéressant, c'est que cela enferme le modèle du monde dans la plus petite boîte possible. Il n'est pas le jeu. Il est le moteur de rendu, et tout ce qui fait qu'un jeu est un jeu vit à l'extérieur, dans du code qu'on peut déboguer. Comparez avec l'approche « un prompt, un monde », magique pendant trente secondes et ingérable au bout de trente minutes.
Pas d'assets graphiques, et c'est la vraie promesse
Lisez attentivement la formulation de l'entreprise : le modèle « valide un nouveau paradigme de développement de jeu qui ne requiert aucun asset graphique préexistant ».
C'est la partie qui a des dents économiques. Un prototype de jeu coûte aujourd'hui des artistes. Même un prototype en boîtes grises a besoin de quelqu'un pour fabriquer la boîte grise, et ce quelqu'un est en général la personne la plus chère de l'équipe. Si le moteur de rendu invente le couloir à mesure qu'on avance, le coût du prototype s'effondre au design plus le code.
Cela explique aussi l'agent de code présent dans la publication : vous décrivez la scène, les règles et l'interaction en langage naturel, l'agent écrit la couche de logique, le modèle vidéo rend ce que la logique produit. Le public naturel n'est pas les studios. C'est une personne avec une idée et une 5090.
Les documents investisseurs de Kunlun font la comparaison explicitement : ils citent la hausse du nombre de sorties sur Steam cette année comme preuve que la barrière à l'entrée baisse. C'est une entreprise qui parle de son propre livre, mais la direction est difficile à contester.
Ce que la 4.0 corrige par rapport à la 3.5
La version 3.5, plus tôt cette année, travaillait la mémoire de scène sur longue horizon, la cohérence entre points de vue, la géométrie spatiale et le contrôle de caméra. Ces quatre points décrivent précisément ce qui rend un monde généré faux : on revient dans une pièce et elle a changé, on orbite autour d'un objet et son dos est inventé, la caméra traverse un mur.
La 4.0 est présentée comme la version où la boucle se referme. Savoir si la dérive est réellement résolue est la question à laquelle je voudrais une réponse après dix minutes de prise en main plutôt qu'après une vidéo de démo, parce que la dérive est le genre de problème qui se cache dans les quatre-vingt-dix premières secondes et vous saute dessus à la dixième minute.
La couche stratégique
Kunlun mène deux lignes de modèles du monde. Matrix-Game vise les mondes numériques : jeux IA, simulation numérique, agents généraux. Une filiale, Riemann Dynamics, mène une ligne distincte appelée Riemann-1.0 pour l'IA physique : manipulation robotique, vidéo humaine à la première personne, démonstrations téléopérées, simulation vers réel.
Ce clivage mérite attention parce qu'il reflète un débat qui traverse le secteur. Certains laboratoires pensent qu'un seul modèle devrait apprendre la physique assez bien pour servir à la fois les jeux et les robots. D'autres jugent les objectifs assez différents pour justifier deux architectures : un monde numérique doit être beau et réactif, un monde physique doit être juste et sûr.
Kunlun parie sur deux. Leur raison affichée est la donnée : ils revendiquent l'accès via des partenaires à un jeu de données incarnées d'un million d'heures, et la donnée incarnée est le goulot de la ligne robotique, pas le calcul.
Ce que je vérifierais avant de croire à la démo
Les 150 millisecondes sont une « latence de réponse de bout en bout ». Demandez ce qu'il y a dans cette fenêtre. Si elle exclut le rendu et ne mesure que le premier token du modèle, le chiffre est beaucoup moins impressionnant qu'il n'en a l'air.
480p à 60 fps sur une 5090, cela fait environ 30 millions de pixels générés par seconde. C'est une charge réelle pour une carte grand public, et cela veut aussi dire que la carte tourne à haute utilisation pendant toute la partie. La performance thermique soutenue d'une carte mono-ventilateur ne ressemblera pas à un passage de benchmark.
« Open source » demande la licence. L'entreprise affirme avoir ouvert le modèle en octobre. Les termes décident s'il s'agit d'une plateforme ou d'une démo, et les publications de modèles chinois dans cette catégorie ont beaucoup varié : certaines permissives, d'autres excluant des marchés entiers.
Le résumé honnête : c'est le premier modèle du monde jouable que je vois annoncé avec des chiffres qui le rendraient utilisable, et pas seulement impressionnant. Jouable en 480p, sur une carte, avec les règles dans du code et les pixels dans un modèle, c'est une forme réellement nouvelle pour le développement de jeux, et une bien meilleure réponse à « à quoi servent les modèles du monde » qu'une minute de plus de vidéo photoréaliste.
Articles associés
Un modèle dense de 65B dépasse des rivaux huit fois plus gros, pour 32 millions de dollars
Un modèle dense de 65B devance des rivaux de 500B et plus sur Terminal-Bench 2.1. Le chiffre qui compte n'est pas le score mais les 32 millions de dollars dépensés.
Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où
Le nouveau benchmark de biologie d'OpenAI montre que le meilleur modèle se trompe encore sur une interprétation de laboratoire sur trois. Les échecs documentés révèlent où la perception n'atteint pas la conclusion.
Antigravity déplace ses agents dans le cloud, sans votre outillage local
La version 2.29 d'Antigravity place l'agent dans une VM cloud qui survit à votre portable et utilise la voix pour approuver les permissions. L'outillage local ne suit pas.
NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique
Quatre modèles de monde ouverts de 16B et un décodeur qui émet la géométrie d'un seul coup. NVIDIA livre les deux moitiés, mais admet qu'il reste à mesurer l'apprentissage de politique.