PAN 2 ouvre ses poids, et une seule ablation explique toute l'architecture

Le 10 novembre, l'Institute of Foundation Models de MBZUAI a publié PAN 2 avec les poids, le code d'entraînement et le code d'inférence sous Apache 2.0. Peu de modèles de monde livrent leur code d'entraînement, et le communiqué insiste sur ce point. C'est le blog technique qu'il faut lire, parce qu'il contient une ablation qui redéfinit ce qu'est le système.
Donnez à PAN 2 une scène de départ et une action décrite en mots : il sort jusqu'à vingt secondes de vidéo montrant la suite. Ce qui compte ici, c'est que la séquence forme une chaîne de conséquences physiques plausible, et cela se mesure bien plus difficilement que la qualité d'image.
Deux raisonneurs, un seul checkpoint
L'architecture est ce qu'IFM appelle Generative Latent Prediction. Elle coupe le travail en deux.
Un modèle de langage multimodal lit l'image de départ et l'action demandée, puis écrit une description structurée et horodatée de l'état suivant du monde. Qui agit. Quand. Comment bouge la caméra. Cette description est du JSON, pas de la prose, et c'est important : elle devient une interface inspectable.
Un transformer de diffusion multimodal de 29 milliards de paramètres, entraîné de zéro sur des images réelles choisies pour leur dynamique physique plutôt que pour leur beauté, remplit ensuite ce que le langage laisse ouvert. Le contact. La déformation. La manière dont une vague se casse. Un encodeur de texte Qwen3.5-9B gelé conditionne le tout, et un VAE Wan 2.2 décode les images.
Le checkpoint publié gère le texte-vers-vidéo et l'image-vers-vidéo. Les réglages par défaut sont 704 par 1248, 24 images par seconde, 50 étapes d'échantillonnage, CFG 2.5, jusqu'à 20 secondes. Le mouvement de caméra est décrit séparément de celui des acteurs, et c'est ce qui garde la scène cohérente quand le point de vue change.
Le planificateur par défaut d'IFM est Kimi K3. Dans la configuration du classement sur Physics-IQ Verified, ils ont utilisé Claude Opus 5.5 comme raisonneur conceptuel. Ce détail vaut la peine d'être retenu : le score en une du communiqué parle en partie du modèle de langage de quelqu'un d'autre.
L'ablation, c'est l'histoire
Voici le tableau qui mérite d'être cité plus souvent que le rang au classement.
Retirez l'étape de raisonnement conceptuel et envoyez l'action directement au modèle de diffusion : le taux de plans multi-étapes aboutis tombe de 34.0 % à 0.0 %. Le taux sur une seule étape passe de 75.1 % à 8.7 %.
Réécrivez le prompt dans le même format structuré mais ne gardez que la mise en forme de surface : le taux de plans complets remonte à 27.8 %. L'essentiel de la valeur est donc dans le raisonnement, très peu dans le formatage, et un peu dans la structure elle-même.
Relisez cela simplement. Sans un planificateur qui décide qui fait quoi et quand, le modèle vidéo n'arrive pas du tout à finir une tâche multi-étapes. Pas mal : zéro. Ce qu'on vend comme un générateur vidéo ressemble davantage à un moteur de rendu boulonné à un ordonnanceur, et le raisonnement physique habite dans l'ordonnanceur.

Ce cadrage explique aussi le mode de défaillance qu'IFM reconnaît. Environ deux plans simulés sur trois oublient encore au moins une étape. Un sur trois aboutit. La carte du modèle note un motif précis : la simulation saute parfois une étape physique nécessaire tout en allant vers le résultat demandé. Une dernière image convaincante peut cacher une séquence cassée. Si vous ne regardez que la dernière seconde, vous y croirez.
Où il se situe
Plans multi-étapes sur 100 tâches du quotidien, taux de plans complets :
| Modèle | Plans complets |
|---|---|
| PAN 2 | 34.00% |
| MiniMax-H3 | 32.50% |
| FLUX 3 | 26.77% |
| Seedance 2.5 | 24.49% |
Sur les six dimensions qu'IFM utilise pour l'intelligence physique, cohérence physique, cohérence causale, persistance des entités, satisfaction des contraintes, invariance au point de vue et dynamique de l'objectif, PAN 2 obtient 84.48 au global. MiniMax-H3 obtient 87.20. PAN 2 mène donc sur l'achèvement d'un plan et recule sur les capacités prises une à une à l'intérieur, ce qui donne une forme de résultat étrange et très précise. Il est meilleur pour garder une séquence sur les rails que pour réussir une image isolée.
Physics-IQ Verified place PAN 2 à 49.38 avec Opus 5.5 comme planificateur. C'est le meilleur chiffre en poids ouverts, devant Cosmos 3 Super à 48.62 et derrière le FLUX 3 fermé à 51.11. PhyGround est à 4.74, RBench à 57.04. Dans une comparaison humaine en aveugle sur le respect de l'action, la plausibilité physique et la cohérence du monde, PAN 2 s'est classé deuxième parmi les quatre modèles ouverts testés.
Tous ces chiffres viennent du rapport d'IFM lui-même. La configuration du classement public est déclarée par les auteurs, ce qui est l'arrangement habituel et la réserve habituelle.
L'installer
Les poids sont sur Hugging Face, à IFM/PAN2. Le code est à ifm-ai/PAN2, avec un dépôt séparé ifm-ai/pan2-guardrail pour le filtre de sécurité, qu'IFM recommande fortement de faire tourner en parallèle. Le support existe dès le premier jour dans Diffusers et vLLM-Omni.
La barre de calcul est haute et la doc ne le cache pas. Chaque worker d'inférence charge le modèle de 29B en entier et prend une part des prompts, donc des GPU supplémentaires achètent de la concurrence, pas de la vitesse sur une requête. Les options d'offload déplacent des blocs entre la mémoire CPU et le GPU, et le gain dépend entièrement de votre matériel.
Un détail de flux de travail est facile à manquer et compte. IFM livre un skill Conceptual Reasoner qui fonctionne dans Codex ou Claude Code, et la recommandation est de réécrire les prompts en texte libre en légendes structurées avec lui avant la génération. C'est l'ablation qui remonte sous forme de décision produit. Le prompt engineering, ici, consiste à produire un planning utilisable plutôt qu'à choisir de meilleurs adjectifs.
Un premier essai raisonnable est petit et figé. Gardez ensemble l'image de départ, le prompt réécrit, la config et la sortie, pour pouvoir dire, quand une séquence part de travers, si la faute vient d'une description d'action ambiguë, d'un prompt structuré qui a perdu une condition, ou de l'étape vidéo qui a lâché un objet.
À quoi ça sert
IFM est explicite : c'est une fondation pour agents, pas un jouet à clips de démo. La boucle prévue est celle-ci : un agent propose une action, PAN 2 simule la conséquence, l'agent compare les résultats et révise, et de nouvelles observations rentrent. Pour que cette boucle vaille la peine, la simulation doit être vérifiable contre le réel et pas seulement convaincante.
C'est là que le 34 % compte. Si un plan sur trois aboutit et que deux sur trois perdent une étape, un agent qui s'en sert pour planifier se trompera assez souvent pour qu'il faille un vérificateur dans la boucle, et peut-être un humain. L'équipe le dit elle-même. La cohérence du monde à long terme reste ouverte, la sensibilité aux prompts est documentée, et la cohérence entre clips est documentée comme un problème.
Deux choses rendent quand même le téléchargement utile. Les poids et le code d'entraînement permettent de reproduire les échecs au lieu de les prendre pour argent comptant. Et l'ablation du planificateur offre une expérience propre et bon marché : changez le modèle de langage, gardez tout le reste, regardez si le taux de plans complets bouge. C'est un bien meilleur usage d'un après-midi que de relancer un classement.
Ce que PAN 2 demande vraiment, c'est où doit vivre le raisonnement physique. Sur Physics-IQ, il est à quelques points derrière le FLUX 3 fermé ; sur les plans complets, il devance tous les modèles testés, fermés compris. Ces deux résultats ne tiennent ensemble que si le raisonnement se passe dans le planificateur et si le backbone de diffusion fait le rendu. Les chiffres de PAN 2 pointent vers le modèle de langage, et vers un modèle vidéo plus proche d'un très bon décodeur que d'un esprit.
Articles associés
Quelqu'un a mis le droit mondial dans git, on peut donc blâmer un article de loi
global-law conserve les textes de chaque pays dans un dépôt git où chaque commit correspond à une loi entrée en vigueur à une date connue. On peut lancer log, blame, show et diff sur un article, demander ce qui s'appliquait dans chaque pays un jour donné, et confier le tout à un assistant via MCP.
Un serveur, une streameuse IA : dans le code qui fait tourner un live nocturne
open-yoki est le code de production d'une hôte IA qui streame chaque soir sur Binance Square, personnalité, voix et fonctions liées à l'argent retirées. headless Chrome dessine la frame, ffmpeg pousse le RTMP, un dossier de Markdown décide de son humeur et de ce qu'elle publie.
Pinky laisse un agent piloter votre téléphone, et garde le bouton Envoyer enfoncé jusqu'à votre clic sur Autoriser
Pinky relie n'importe quel agent MCP à un vrai iPhone ou Android et impose l'approbation dans sa propre passerelle plutôt que dans un prompt. Les applis bancaires sont invisibles, les champs de mot de passe interdits, et sous Android 13 l'agent obtient un second écran caché.
Cicada écoute directement l'audio de votre réunion, sans bot dans la salle
Cicada est une application gratuite pour Mac, Windows, Linux et Android qui écrit des sous-titres bilingues et des notes de réunion structurées à partir de l'audio du système, puis vous laisse tenir une touche pour répondre dans l'autre langue avec votre propre voix clonée. Aucun bot ne rejoint l'appel.