Genie 4 : un réalisateur dans la boucle

Genie 4 de Google est arrivé le 27 octobre avec une promesse assez tonitruante : le premier modèle du monde qui génère son propre son en même temps que son propre univers. Du vent, du ressac, une bande-son et des personnages qui vous répondent, tout dans la même passe, sans module audio rajouté après coup.
C'est la une. C'est aussi, à mon avis, la partie la moins intéressante de la sortie.
Le plus lourd de conséquences, c'est qui tient le volant. Genie 4 ne se contente pas de prendre un prompt et d'avancer. Il tourne avec Gemini 3.8 Flash installé dans la boucle comme agent guide, qui regarde les images au fur et à mesure qu'elles sont produites, découpe l'objectif en étapes, vérifie que chaque étape a bien eu lieu et révise le plan quand vous interrompez. Google appelle l'ensemble un modèle du monde hybride : Gemini raisonne sur ce qui devrait se passer ensuite, Genie rend à quoi ça ressemble et à quoi ça sonne.
Dès qu'un modèle a un superviseur à l'intérieur de sa propre boucle de génération, le produit cesse d'être un générateur de vidéo pour devenir un petit moteur de simulation. Cela change ce qu'on peut lui demander, et cela change ce qui casse quand on le lui demande.
Ce qui est vraiment sorti
La mécanique, en clair :
Son natif. Les ambiances, la musique et le dialogue interactif sortent de la même étape de génération que l'image. Les personnages réagissent à ce que vous tapez et aux événements de la scène. La formule de Google : l'audio n'est pas une décoration appliquée après coup, il fait partie du comportement du monde.
Contrôle en langage naturel, en temps réel. Pendant que la simulation tourne, vous pouvez changer la météo, déplacer la caméra, faire entrer un personnage ou un objet. Le prompt est interprété par rapport à la scène en cours, pas dans le vide. Tapez « pluie » et vous obtenez une pluie qui colle à la lumière et au sol sur lesquels vous êtes déjà.
Cohérence, à peu près doublée. Une scène tient environ deux minutes, contre une minute dans Genie 3. Ce chiffre compte plus qu'il n'y paraît. Deux minutes suffisent à découper une courte scène ; une minute suffit à prouver une démo.
Physique et corps. Google annonce des progrès sur l'aérodynamique, les collisions et surtout le mouvement humain. Les personnages réagissent à leur environnement au lieu de le traverser en glissant.
SynthID sur les deux flux. La vidéo et l'audio sont marqués en filigrane.
La boucle de réalisation, c'est la vraie fonctionnalité
Voilà la partie sur laquelle il faut s'arrêter. Dans un outil de vidéo générative normal, vous écrivez un prompt, vous attendez, vous jugez le résultat. Le modèle n'a aucune idée de s'il a fait ce que vous demandiez. Dans Genie 4, Gemini 3.8 Flash vérifie en continu les images par rapport à l'objectif énoncé. Si vous dites « l'homme marche vers la porte et l'ouvre », quelque chose dans le système regarde si la porte s'ouvre vraiment, et corrige si ce n'est pas le cas.
C'est un autre type de fiabilité. C'est aussi un autre type de coût. Chaque étape de vérification est une inférence, chaque correction une passe de plus. Rien dans l'annonce de Google ne parle du coût d'exploitation, ce qui est en général le signe que la réponse est « beaucoup, pour l'instant ».
Google a aussi montré le dispositif dans une démo de robotique, avec Gemini 4 Argon décomposant une demande utilisateur en une séquence d'étapes, puis envoyant à Genie 4 des instructions en temps réel pour construire la scène correspondante. Là, le modèle sert d'environnement d'entraînement, pas de jouet. C'est aussi l'énoncé d'intention le plus clair de toute la sortie : le client visé par un modèle du monde en temps réel n'est pas un cinéaste qui cherche un plan moins cher, c'est une équipe de robotique qui a besoin de dix mille variantes d'une cuisine.

Comment le piloter, sachant ce qu'il entend
Les commandes sont plus étroites qu'une boîte de prompt ne le laisse croire, donc mieux vaut savoir quels leviers existent. Vous pouvez changer la météo, déplacer la caméra, faire entrer personnages ou objets, tout cela en cours de simulation. Vous ne pouvez pas, d'après ce que Google a montré, lui donner un découpage et attendre qu'il tombe juste.
La façon productive de travailler est donc conversationnelle et incrémentale : partir d'un lieu et d'une action, regarder dix secondes, puis ajuster une variable à la fois. Demandez de la pluie et regardez si le sol réagit. Déplacez la caméra et vérifiez si le son suit. Faites entrer quelqu'un et voyez s'il reste jusqu'à la fin de la séquence.
Ajuster une chose à la fois est plus lent que d'écrire un long prompt, et c'est le seul moyen d'apprendre où s'arrête la compréhension causale du modèle. Dès que trois changements simultanés produisent un résultat faux, vous ne savez plus lequel a cassé quoi.
La liste honnête de ce qui casse encore
La documentation de Google est plus franche que la plupart des billets de lancement, et les réserves sont précises.
Le détail visuel et la persistance des objets dérivent. Faites tourner une simulation longtemps, révisez le prompt plusieurs fois, ou promenez-vous beaucoup, et des choses qui étaient là ne le sont plus, ou changent de forme. Quiconque a utilisé un modèle du monde plus de quatre-vingt-dix secondes a vu ça : vous vous retournez et l'immeuble derrière vous s'est discrètement réorganisé.
L'interaction physique complexe reste branlante. Le rendu de texte lisible est toujours mauvais, ce qui compte plus qu'on ne le croit : les enseignes et les étiquettes sont la façon dont une scène signale où elle se trouve. La précision spatiale est approximative. L'audio est généré en temps réel, donc il est plausible plutôt que juste ; une porte qui se ferme à gauche du cadre ne sonnera pas forcément comme telle.
Et c'est un aperçu de recherche. D'abord les testeurs de confiance, puis les abonnés Google AI Ultra via Project Genie, puis les partenaires en accès anticipé sur l'API Gemini et AI Studio. Il y a une liste d'attente. Il n'y a pas de prix public. Si vous lisez ceci et comptez l'utiliser demain, c'est non.
À quoi ça sert vraiment, aujourd'hui
La prévisualisation est l'usage évident, et Google le dit. Un réalisateur peut entrer dans un décor généré, bouger la caméra, changer la lumière, retoucher une réplique sans construire le plateau. Pour une scène qui sera tournée pour de vrai plus tard, c'est une heure réellement utile.
Le game design et le level design viennent ensuite. Pas livrer un niveau, mais traverser une version grossière pour voir si les lignes de vue fonctionnent.
Robotique et entraînement d'agents arrivent en troisième, et c'est là qu'il y a le plus d'argent. Un environnement sûr et infiniment variable où une politique peut échouer dix mille fois vaut plus qu'une belle démo.
Ce à quoi ça ne sert pas encore, c'est tout ce qui a une livraison au bout. Deux minutes de cohérence, des objets qui dérivent et du texte illisible ne survivent pas à une revue client.
Le schéma à surveiller
Il y a trois ans, un modèle du monde était un objet de recherche qui produisait un clip tremblotant de cinq secondes. L'an dernier, c'était un produit qui en produisait une minute. Cette année, il en produit deux, avec le son, et il discute avec lui-même pour savoir si la scène va dans le sens demandé.
L'étape suivante, ce n'est pas plus de minutes. C'est un modèle capable de tenir une scène aussi longtemps que vous lui parlez, et qui sait quand s'arrêter pour poser une question. Genie 4 en est un aperçu, avec toutes les coutures visibles.
Si vous fabriquez des choses pour vivre, le geste utile ce mois-ci n'est pas de s'inscrire et d'attendre. C'est de repérer quelle part de votre métier consiste à « décider ce que doit être le plan » et quelle part consiste à « faire le plan ». La première vient de gagner une salle de répétition bien moins chère. La seconde est toujours à vous.
Articles associés
Une feuille de calcul communautaire de clics pour couper les publicités des Android chinois
Il ne touche pas au système, ne déverrouille rien, ne flashe rien. Il bascule un à un les interrupteurs que les fabricants ont déjà prévus. Le prix à payer, c'est la liste qu'il faut continuer d'écrire.
GPT Image 2.6 a tenu le prix des tokens et fait monter la facture
GPT Image 2.6 reprend chaque tarif au token de 2.5 et coûte malgré tout plus cher par image, parce qu'une part plus grande du travail se paie en tokens de sortie. Onze jours après le lancement, la grille tarifaire dit plus que le classement.
Quelqu'un a reconstruit IDM de l'extérieur et a écrit ce qu'il n'a pas touché
Une réimplémentation en Rust d'Internet Download Manager revendique 5 fois la vitesse et 86 langues. Le document le plus intéressant est le paragraphe qui explique comment elle a été construite sans rien copier.
Rune est un framework UI Rust conçu pour qu'un agent puisse vérifier son propre travail
Rune rend en headless, vide son arbre d'éléments et accepte des entrées scriptées, ce qui donne à un agent de codage un signal différable qu'aucune capture d'écran ne fournit. Le framework est en préversion et n'accepte pas de pull requests.