PAN 2 öffnet seine Gewichte, und eine einzige Ablation erklärt das ganze Design

Am 10. November hat das Institute of Foundation Models an der MBZUAI PAN 2 veröffentlicht, mit Gewichten, Trainingscode und Inferenzcode unter Apache 2.0. Nur wenige Weltmodelle liefern ihren Trainingscode mit, und die Pressemitteilung reitet darauf herum. Lesen sollte man den technischen Blog, denn darin steht eine Ablation, die den ganzen Entwurf neu einordnet.
Man gibt PAN 2 eine Startszene und eine in Worten beschriebene Aktion, und es liefert bis zu zwanzig Sekunden Video, das zeigt, was als Nächstes passiert. Worum es hier geht, ist die Frage, ob die Sequenz eine plausible Kette physikalischer Folgen bildet, und die ist deutlich schwerer zu messen als die Bildqualität.
Zwei Reasoner, ein Checkpoint
Die Architektur heißt bei IFM Generative Latent Prediction und teilt die Arbeit in zwei Teile.
Ein multimodales Sprachmodell liest das Startbild und die gewünschte Aktion und schreibt eine strukturierte, mit Zeitstempeln versehene Beschreibung des nächsten Weltzustands. Wer handelt. Wann. Wie sich die Kamera bewegt. Diese Beschreibung ist JSON, keine Prosa, und das ist wichtig, weil daraus eine Schnittstelle wird, die man prüfen kann.
Ein multimodales Diffusions-Transformer-Modell mit 29 Milliarden Parametern, von Grund auf trainiert auf echtem Material, ausgewählt nach physikalischer Dynamik statt nach Schauwert, füllt dann, was die Sprache offenlässt. Kontakt. Verformung. Die Art, wie eine Welle bricht. Ein eingefrorener Qwen3.5-9B-Textencoder konditioniert das Ganze, ein Wan-2.2-VAE dekodiert die Frames.
Der veröffentlichte Checkpoint kann Text-zu-Video und Bild-zu-Video. Die Voreinstellungen sind 704 mal 1248, 24 Bilder pro Sekunde, 50 Sampling-Schritte, CFG 2.5 und bis zu 20 Sekunden. Kamerabewegung wird getrennt von der Bewegung der Akteure beschrieben, und deshalb bleibt die Szene stimmig, wenn sich der Blickwinkel ändert.
Der Standardplaner von IFM ist Kimi K3. In der Konfiguration für die Bestenliste auf Physics-IQ Verified haben sie Claude Opus 5.5 als konzeptuellen Reasoner verwendet. Dieses Detail sollte man sich merken, denn der Schlagzeilenwert ist damit auch eine Aussage über das Sprachmodell von jemand anderem.
Die Ablation ist die Geschichte
Hier ist die Tabelle, die häufiger zitiert werden sollte als der Listenplatz.
Nimmt man den Schritt des konzeptuellen Schlussfolgerns heraus und gibt die Aktion direkt an das Diffusionsmodell, fällt die Quote abgeschlossener mehrstufiger Pläne von 34.0 Prozent auf 0.0 Prozent. Bei einstufigen Aufgaben fällt sie von 75.1 Prozent auf 8.7 Prozent.
Schreibt man den Prompt in dasselbe strukturierte Format um, behält aber nur die Oberflächenformatierung, erholt sich die Quote vollständiger Pläne auf 27.8 Prozent. Der größte Teil des Werts steckt also im Schlussfolgern, sehr wenig in der Formatierung, und ein bisschen in der Struktur selbst.
Noch einmal in einfachen Worten. Ohne einen Planer, der entscheidet, wer wann was tut, schafft das Videomodell eine mehrstufige Aufgabe überhaupt nicht. Nicht schlecht. Null. Das Ding, das als Videogenerator verkauft wird, ist eher ein Renderer, der an einen Scheduler geschraubt wurde, und das physikalische Schlussfolgern wohnt im Scheduler.

Diese Einordnung erklärt auch das Fehlerbild, das IFM selbst einräumt. Etwa zwei von drei simulierten Plänen lassen weiterhin mindestens einen Schritt aus. Einer von drei sitzt. Die Modellkarte nennt ein konkretes Muster: Die Simulation überspringt manchmal einen nötigen physikalischen Schritt und bewegt sich trotzdem auf das gewünschte Ergebnis zu. Ein überzeugendes letztes Bild kann eine kaputte Sequenz verbergen. Wer nur die letzte Sekunde ansieht, glaubt es.
Wo es steht
Mehrstufige Pläne über 100 Alltagsaufgaben, Quote vollständiger Pläne:
| Modell | Vollständige Pläne |
|---|---|
| PAN 2 | 34.00% |
| MiniMax-H3 | 32.50% |
| FLUX 3 | 26.77% |
| Seedance 2.5 | 24.49% |
Auf den sechs Dimensionen, mit denen IFM physikalische Intelligenz misst, also physikalische Konsistenz, kausale Kohärenz, Persistenz von Entitäten, Erfüllung von Randbedingungen, Blickwinkel-Invarianz und Ziel-Dynamik, erreicht PAN 2 insgesamt 84.48. MiniMax-H3 erreicht 87.20. PAN 2 führt also beim Abschließen eines Plans und liegt bei den Einzelfähigkeiten darin zurück, was ein seltsames und sehr spezifisches Ergebnisprofil ist. Es kann eine Sequenz besser auf Kurs halten, als es ein einzelnes Bild darin gut hinbekommt.
Physics-IQ Verified setzt PAN 2 auf 49.38, mit Opus 5.5 als Planer. Das ist der beste Wert unter offenen Gewichten, vor Cosmos 3 Super mit 48.62 und hinter dem geschlossenen FLUX 3 mit 51.11. PhyGround liegt bei 4.74, RBench bei 57.04. In einem verblindeten menschlichen Vergleich zu Aktionsbefolgung, physikalischer Plausibilität und Weltkonsistenz landete PAN 2 unter den vier getesteten offenen Modellen auf Platz zwei.
Alle diese Zahlen stammen aus dem eigenen Bericht von IFM. Die Einstellung der öffentlichen Bestenliste wird von den Autoren selbst angegeben, was die übliche Regelung und der übliche Vorbehalt ist.
Installieren
Die Gewichte liegen auf Hugging Face unter IFM/PAN2. Der Code unter ifm-ai/PAN2, dazu ein separates Repository ifm-ai/pan2-guardrail für den Sicherheitsfilter, den IFM dringend zur Mitnutzung empfiehlt. In Diffusers und vLLM-Omni gibt es Unterstützung ab dem ersten Tag.
Die Rechenschwelle ist hoch, und die Doku versteckt das nicht. Jeder Inferenz-Worker lädt das volle 29B-Modell und bekommt einen Anteil der Prompts, zusätzliche GPUs kaufen also Nebenläufigkeit statt Geschwindigkeit bei einer einzelnen Anfrage. Offloading verschiebt Blöcke zwischen CPU-Speicher und GPU, und wie viel das hilft, hängt ganz von der Hardware ab.
Ein Workflow-Detail ist leicht zu übersehen und wichtig. IFM liefert einen Conceptual-Reasoner-Skill, der in Codex oder Claude Code läuft, und empfiehlt, Freitext-Prompts damit vor der Generierung in strukturierte Captions umzuschreiben. Da taucht die Ablation als Produktentscheidung auf. Prompt-Engineering heißt hier, einen brauchbaren Ablaufplan zu erzeugen, statt bessere Adjektive zu wählen.
Ein sinnvoller erster Versuch ist klein und fest. Startbild, umgeschriebener Prompt, Konfiguration und Ausgabe zusammen aufbewahren, damit man bei einer schiefen Sequenz sagen kann, ob die Aktionsbeschreibung mehrdeutig war, ob im strukturierten Prompt eine Bedingung verloren ging oder ob die Videostufe ein Objekt verloren hat.
Wofür das gut ist
IFM sagt ausdrücklich, das sei ein Fundament für Agenten, kein Spielzeug für Democlips. Der gedachte Kreislauf: Ein Agent schlägt eine Aktion vor, PAN 2 simuliert die Folge, der Agent vergleicht die Ergebnisse und korrigiert, neue Beobachtungen fließen zurück. Damit dieser Kreislauf sich lohnt, muss die Simulation gegen die Wirklichkeit prüfbar sein und nicht bloß überzeugend.
Da wird die 34 wichtig. Wenn einer von drei Plänen aufgeht und zwei von drei einen Schritt verlieren, irrt sich ein Agent, der damit plant, oft genug, dass ein Prüfer in den Kreislauf muss, und womöglich ein Mensch. Das Team sagt es selbst. Langfristige Weltkonsistenz bleibt offen, die Empfindlichkeit gegenüber Prompts ist dokumentiert, und die Konsistenz zwischen Clips ist als Problem dokumentiert.
Zwei Dinge machen den Download trotzdem lohnend. Gewichte und Trainingscode erlauben, die Fehler nachzuvollziehen, statt sie zu glauben. Und die Planer-Ablation liefert ein sauberes, billiges Experiment: Sprachmodell tauschen, alles andere lassen, beobachten, ob sich die Quote vollständiger Pläne bewegt. Das ist ein deutlich besserer Nachmittag als ein weiterer Durchlauf auf einer Bestenliste.
PAN 2 fragt eigentlich, wo physikalisches Schlussfolgern hingehört. Auf Physics-IQ liegt es ein paar Punkte hinter dem geschlossenen FLUX 3, bei vollständigen Plänen führt es vor allen getesteten Modellen, geschlossene eingeschlossen. Beides passt nur zusammen, wenn das Schlussfolgern im Planer stattfindet und der Diffusions-Backbone das Rendern übernimmt. Die eigenen Zahlen von PAN 2 zeigen auf das Sprachmodell, und bei einem Videomodell auf etwas, das einem sehr guten Decoder näher steht als einem Kopf.
Verwandte Artikel
Ein Server, eine KI-Streamerin: im Code, der einen nächtlichen Livestream trägt
open-yoki ist der Produktionscode einer KI-Host, die jeden Abend auf Binance Square streamt, mit entfernten Geld-Features, Stimme und Persona. headless Chrome zeichnet das Bild, ffmpeg schiebt RTMP, ein Markdown-Ordner entscheidet über Laune und Posts.
ByteDances SeedRealtime nimmt zwei Bilder pro Sekunde und entscheidet selbst, wann es spricht
Doubao-Seed-Realtime-1.0 packt Kamera-Frames, Bildschirm-Frames und Sprache in eine einzige Vollduplex-Sitzung, mit höchstens zwei Frames pro Sekunde. Die interessanten Entscheidungen sind die Bildrate, das proaktive Sprechen und die Audit-Antwort, die ab Werk an ist.
Cicada hört dem Audio deines Meetings direkt zu, ohne Bot im Raum
Cicada ist eine kostenlose App für Mac, Windows, Linux und Android, die aus dem Systemaudio zweisprachige Untertitel und strukturierte Meeting-Notizen schreibt. Auf Tastendruck sprichst du deine Antwort in der anderen Sprache mit deiner eigenen geklonten Stimme. Kein Bot tritt dem Call bei.
Pinky lässt einen Agent dein Handy bedienen und hält den Senden-Knopf fest, bis du auf Erlauben tippst
Pinky verbindet jeden MCP-Agent mit einem echten iPhone oder Android und erzwingt die Freigabe in seiner eigenen Gateway statt in einem Prompt. Bank-Apps sind unsichtbar, Passwortfelder tabu, und unter Android 13 bekommt der Agent einen versteckten zweiten Bildschirm.