PAN 2 abre os pesos, e uma única ablação explica todo o projeto

Em 10 de novembro, o Institute of Foundation Models da MBZUAI liberou o PAN 2 com pesos, código de treino e código de inferência sob Apache 2.0. Poucos modelos de mundo entregam o código de treino junto, e o release aposta nisso. O que vale ler é o blog técnico, porque tem uma ablação que reposiciona o sistema inteiro.
Você dá ao PAN 2 uma cena inicial e uma ação descrita em palavras, e ele devolve até vinte segundos de vídeo mostrando o que acontece depois. A questão aqui é se a sequência forma uma cadeia plausível de consequências físicas, e isso é bem mais difícil de medir do que a qualidade da imagem.
Dois raciocinadores, um checkpoint
A arquitetura é o que a IFM chama de Generative Latent Prediction. Ela divide o trabalho em dois.
Um modelo de linguagem multimodal lê a imagem inicial e a ação pedida, e escreve uma descrição estruturada, com marcação de tempo, do próximo estado do mundo. Quem age. Quando. Como a câmera se move. Essa descrição é JSON, não prosa, e isso importa porque vira uma interface que dá para inspecionar.
Um transformer de difusão multimodal de 29B parâmetros, treinado do zero com material real escolhido pela dinâmica física e não pela beleza da imagem, preenche o que a linguagem deixa em aberto. O contato. A deformação. O jeito que a onda quebra. Um text encoder Qwen3.5-9B congelado condiciona tudo, e um VAE do Wan 2.2 decodifica os quadros.
O checkpoint liberado cobre texto para vídeo e imagem para vídeo. Os padrões são 704 por 1248, 24 quadros por segundo, 50 passos de amostragem, CFG 2.5 e até 20 segundos. O movimento de câmera é descrito separado do movimento dos atores, e é assim que a cena continua coerente quando o ponto de vista muda.
O planejador padrão da IFM é o Kimi K3. Na configuração do ranking no Physics-IQ Verified, usaram o Claude Opus 5.5 como raciocinador conceitual. Vale guardar esse detalhe, porque a nota da manchete é em parte uma afirmação sobre o modelo de linguagem de outra pessoa.
A ablação é a história
Esta é a tabela que deveria ser citada mais do que a posição no ranking.
Tire a etapa de raciocínio conceitual e jogue a ação direto no modelo de difusão: a taxa de planos de várias etapas concluídos cai de 34.0% para 0.0%. A de etapa única cai de 75.1% para 8.7%.
Reescreva o prompt no mesmo formato estruturado mas mantenha só a formatação de superfície, e a taxa de planos completos volta a 27.8%. Ou seja, quase todo o valor está no raciocínio, muito pouco na formatação, e um pouco na estrutura em si.
De novo, em termos simples. Sem um planejador que decida quem faz o quê e quando, o modelo de vídeo não termina uma tarefa de várias etapas. Mal não: zero. O que é vendido como gerador de vídeo parece mais um renderizador aparafusado num escalonador, e o raciocínio físico mora no escalonador.

Esse enquadramento também explica o modo de falha que a IFM admite. Cerca de dois planos simulados em cada três ainda perdem pelo menos uma etapa. Um em cada três acerta. O model card anota um padrão específico: a simulação às vezes pula uma etapa física necessária e mesmo assim avança na direção do resultado pedido. Um último quadro convincente consegue esconder uma sequência quebrada. Se você olhar só o último segundo, vai acreditar.
Onde ele se posiciona
Planos de várias etapas em 100 tarefas do dia a dia, taxa de planos completos:
| Modelo | Planos completos |
|---|---|
| PAN 2 | 34.00% |
| MiniMax-H3 | 32.50% |
| FLUX 3 | 26.77% |
| Seedance 2.5 | 24.49% |
Nas seis dimensões que a IFM usa para inteligência física, ou seja, consistência física, coerência causal, persistência de entidades, satisfação de restrições, invariância ao ponto de vista e dinâmica do objetivo, o PAN 2 marca 84.48 no geral. O MiniMax-H3 marca 87.20. Então o PAN 2 lidera em terminar um plano e fica atrás nas capacidades individuais dentro dele, o que é um formato de resultado estranho e bem específico. Ele é melhor em manter uma sequência nos trilhos do que em acertar qualquer quadro dela.
O Physics-IQ Verified coloca o PAN 2 em 49.38 com o Opus 5.5 como planejador. É o melhor número entre os pesos abertos, à frente do Cosmos 3 Super com 48.62 e atrás do FLUX 3 fechado com 51.11. O PhyGround está em 4.74, o RBench em 57.04. Numa comparação humana às cegas sobre aderência à ação, plausibilidade física e consistência do mundo, o PAN 2 ficou em segundo entre os quatro modelos abertos testados.
Todos esses números vêm do relatório da própria IFM. A configuração do ranking público é declarada pelos autores, o que é o arranjo de sempre e a ressalva de sempre.
Como instalar
Os pesos estão no Hugging Face, em IFM/PAN2. O código em ifm-ai/PAN2, com um repositório separado ifm-ai/pan2-guardrail para o filtro de segurança, que a IFM recomenda fortemente rodar junto. Há suporte desde o primeiro dia no Diffusers e no vLLM-Omni.
A barra de compute é alta e a documentação não esconde. Cada worker de inferência carrega o modelo de 29B inteiro e fica com uma parte dos prompts, então GPU extra compra concorrência, não velocidade numa requisição. As opções de offload movem blocos entre a memória da CPU e a GPU, e o quanto isso ajuda depende inteiramente do seu hardware.
Tem um detalhe de fluxo de trabalho fácil de perder e importante. A IFM distribui um skill Conceptual Reasoner que roda no Codex ou no Claude Code, e a recomendação é reescrever os prompts em texto livre como captions estruturadas com ele antes de gerar. É a ablação virando decisão de produto. Prompt engineering aqui significa produzir um cronograma utilizável, não escolher adjetivos melhores.
Um primeiro teste sensato é pequeno e fixo. Guarde a imagem inicial, o prompt reescrito, a config e a saída juntos, para que, quando uma sequência sair errada, você consiga dizer se foi a descrição da ação ambígua, um prompt estruturado que perdeu uma condição, ou a etapa de vídeo que perdeu um objeto.
Para que serve
A IFM é explícita: isto é uma base para agentes, não um brinquedo de clipe de demonstração. O laço pretendido é: um agente propõe uma ação, o PAN 2 simula a consequência, o agente compara os resultados e revisa, e novas observações entram de volta. Para esse laço valer a pena, a simulação precisa ser conferível contra a realidade, não apenas convincente.
É aí que o 34% importa. Se um plano em três se completa e dois em três perdem uma etapa, um agente que planeje com isso vai errar com frequência suficiente para exigir um verificador no laço, e talvez uma pessoa. A equipe diz isso. Consistência de mundo a longo prazo segue em aberto, a sensibilidade a prompt está documentada, e a consistência entre clipes está documentada como problema.
Ainda assim, duas coisas fazem o download valer. Os pesos e o código de treino deixam você reproduzir as falhas em vez de aceitá-las na confiança. E a ablação do planejador entrega um experimento limpo e barato: troque o modelo de linguagem, mantenha o resto, e veja se a taxa de planos completos se mexe. É um uso muito melhor de uma tarde do que rodar um ranking de novo.
O que o PAN 2 pergunta de verdade é onde o raciocínio físico deve morar. No Physics-IQ ele fica uns dois pontos atrás do FLUX 3 fechado; em planos completos, à frente de todos os modelos testados, fechados inclusive. Essas duas coisas só fecham se o raciocínio acontece no planejador e o backbone de difusão faz a renderização. Os próprios números do PAN 2 apontam para o modelo de linguagem, e para um modelo de vídeo mais perto de um decodificador muito bom do que de uma mente.
Artigos relacionados
Um servidor, uma streamer de IA: dentro do código que roda uma live noturna
open-yoki é o código de produção de uma host de IA que transmite toda noite no Binance Square, sem persona, voz ou qualquer recurso que toque dinheiro. headless Chrome desenha o frame, ffmpeg empurra RTMP e uma pasta de Markdown decide o humor e o que ela publica.
O Pinky deixa um agent dirigir seu celular e segura o botão Enviar até você clicar em Permitir
O Pinky conecta qualquer agent MCP a um iPhone ou Android de verdade e aplica a aprovação no próprio gateway, não num prompt. Apps de banco são invisíveis, campos de senha estão fora de alcance e, no Android 13, o agent ganha uma segunda tela escondida.
O Cicada escuta o áudio da sua reunião direto, sem bot na sala
O Cicada é um app gratuito para Mac, Windows, Linux e Android que escreve legendas bilíngues e notas de reunião estruturadas a partir do áudio do sistema, e depois deixa você segurar uma tecla para responder no outro idioma com sua própria voz clonada. Nenhum bot entra na chamada.
O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar
O Doubao-Seed-Realtime-1.0 junta frames de câmera, frames de tela e fala numa única sessão full duplex, a no máximo dois frames por segundo. As decisões interessantes são a taxa de frames, a fala proativa e a resposta de auditoria que já vem ligada.