← Voltar ao blog
Aicerca de 7 min de leitura

PAN 2 abre os pesos, e uma única ablação explica todo o projeto

Publicado 15 de nov. de 2026
PAN 2 abre os pesos, e uma única ablação explica todo o projeto

Em 10 de novembro, o Institute of Foundation Models da MBZUAI liberou o PAN 2 com pesos, código de treino e código de inferência sob Apache 2.0. Poucos modelos de mundo entregam o código de treino junto, e o release aposta nisso. O que vale ler é o blog técnico, porque tem uma ablação que reposiciona o sistema inteiro.

Você dá ao PAN 2 uma cena inicial e uma ação descrita em palavras, e ele devolve até vinte segundos de vídeo mostrando o que acontece depois. A questão aqui é se a sequência forma uma cadeia plausível de consequências físicas, e isso é bem mais difícil de medir do que a qualidade da imagem.

Dois raciocinadores, um checkpoint

A arquitetura é o que a IFM chama de Generative Latent Prediction. Ela divide o trabalho em dois.

Um modelo de linguagem multimodal lê a imagem inicial e a ação pedida, e escreve uma descrição estruturada, com marcação de tempo, do próximo estado do mundo. Quem age. Quando. Como a câmera se move. Essa descrição é JSON, não prosa, e isso importa porque vira uma interface que dá para inspecionar.

Um transformer de difusão multimodal de 29B parâmetros, treinado do zero com material real escolhido pela dinâmica física e não pela beleza da imagem, preenche o que a linguagem deixa em aberto. O contato. A deformação. O jeito que a onda quebra. Um text encoder Qwen3.5-9B congelado condiciona tudo, e um VAE do Wan 2.2 decodifica os quadros.

O checkpoint liberado cobre texto para vídeo e imagem para vídeo. Os padrões são 704 por 1248, 24 quadros por segundo, 50 passos de amostragem, CFG 2.5 e até 20 segundos. O movimento de câmera é descrito separado do movimento dos atores, e é assim que a cena continua coerente quando o ponto de vista muda.

O planejador padrão da IFM é o Kimi K3. Na configuração do ranking no Physics-IQ Verified, usaram o Claude Opus 5.5 como raciocinador conceitual. Vale guardar esse detalhe, porque a nota da manchete é em parte uma afirmação sobre o modelo de linguagem de outra pessoa.

A ablação é a história

Esta é a tabela que deveria ser citada mais do que a posição no ranking.

Tire a etapa de raciocínio conceitual e jogue a ação direto no modelo de difusão: a taxa de planos de várias etapas concluídos cai de 34.0% para 0.0%. A de etapa única cai de 75.1% para 8.7%.

Reescreva o prompt no mesmo formato estruturado mas mantenha só a formatação de superfície, e a taxa de planos completos volta a 27.8%. Ou seja, quase todo o valor está no raciocínio, muito pouco na formatação, e um pouco na estrutura em si.

De novo, em termos simples. Sem um planejador que decida quem faz o quê e quando, o modelo de vídeo não termina uma tarefa de várias etapas. Mal não: zero. O que é vendido como gerador de vídeo parece mais um renderizador aparafusado num escalonador, e o raciocínio físico mora no escalonador.

Um escape de relojoaria aberto sobre uma superfície escura, com um dente faltando na roda de escape e a engrenagem parada.

Esse enquadramento também explica o modo de falha que a IFM admite. Cerca de dois planos simulados em cada três ainda perdem pelo menos uma etapa. Um em cada três acerta. O model card anota um padrão específico: a simulação às vezes pula uma etapa física necessária e mesmo assim avança na direção do resultado pedido. Um último quadro convincente consegue esconder uma sequência quebrada. Se você olhar só o último segundo, vai acreditar.

Onde ele se posiciona

Planos de várias etapas em 100 tarefas do dia a dia, taxa de planos completos:

ModeloPlanos completos
PAN 234.00%
MiniMax-H332.50%
FLUX 326.77%
Seedance 2.524.49%

Nas seis dimensões que a IFM usa para inteligência física, ou seja, consistência física, coerência causal, persistência de entidades, satisfação de restrições, invariância ao ponto de vista e dinâmica do objetivo, o PAN 2 marca 84.48 no geral. O MiniMax-H3 marca 87.20. Então o PAN 2 lidera em terminar um plano e fica atrás nas capacidades individuais dentro dele, o que é um formato de resultado estranho e bem específico. Ele é melhor em manter uma sequência nos trilhos do que em acertar qualquer quadro dela.

O Physics-IQ Verified coloca o PAN 2 em 49.38 com o Opus 5.5 como planejador. É o melhor número entre os pesos abertos, à frente do Cosmos 3 Super com 48.62 e atrás do FLUX 3 fechado com 51.11. O PhyGround está em 4.74, o RBench em 57.04. Numa comparação humana às cegas sobre aderência à ação, plausibilidade física e consistência do mundo, o PAN 2 ficou em segundo entre os quatro modelos abertos testados.

Todos esses números vêm do relatório da própria IFM. A configuração do ranking público é declarada pelos autores, o que é o arranjo de sempre e a ressalva de sempre.

Como instalar

Os pesos estão no Hugging Face, em IFM/PAN2. O código em ifm-ai/PAN2, com um repositório separado ifm-ai/pan2-guardrail para o filtro de segurança, que a IFM recomenda fortemente rodar junto. Há suporte desde o primeiro dia no Diffusers e no vLLM-Omni.

A barra de compute é alta e a documentação não esconde. Cada worker de inferência carrega o modelo de 29B inteiro e fica com uma parte dos prompts, então GPU extra compra concorrência, não velocidade numa requisição. As opções de offload movem blocos entre a memória da CPU e a GPU, e o quanto isso ajuda depende inteiramente do seu hardware.

Tem um detalhe de fluxo de trabalho fácil de perder e importante. A IFM distribui um skill Conceptual Reasoner que roda no Codex ou no Claude Code, e a recomendação é reescrever os prompts em texto livre como captions estruturadas com ele antes de gerar. É a ablação virando decisão de produto. Prompt engineering aqui significa produzir um cronograma utilizável, não escolher adjetivos melhores.

Um primeiro teste sensato é pequeno e fixo. Guarde a imagem inicial, o prompt reescrito, a config e a saída juntos, para que, quando uma sequência sair errada, você consiga dizer se foi a descrição da ação ambígua, um prompt estruturado que perdeu uma condição, ou a etapa de vídeo que perdeu um objeto.

Para que serve

A IFM é explícita: isto é uma base para agentes, não um brinquedo de clipe de demonstração. O laço pretendido é: um agente propõe uma ação, o PAN 2 simula a consequência, o agente compara os resultados e revisa, e novas observações entram de volta. Para esse laço valer a pena, a simulação precisa ser conferível contra a realidade, não apenas convincente.

É aí que o 34% importa. Se um plano em três se completa e dois em três perdem uma etapa, um agente que planeje com isso vai errar com frequência suficiente para exigir um verificador no laço, e talvez uma pessoa. A equipe diz isso. Consistência de mundo a longo prazo segue em aberto, a sensibilidade a prompt está documentada, e a consistência entre clipes está documentada como problema.

Ainda assim, duas coisas fazem o download valer. Os pesos e o código de treino deixam você reproduzir as falhas em vez de aceitá-las na confiança. E a ablação do planejador entrega um experimento limpo e barato: troque o modelo de linguagem, mantenha o resto, e veja se a taxa de planos completos se mexe. É um uso muito melhor de uma tarde do que rodar um ranking de novo.

O que o PAN 2 pergunta de verdade é onde o raciocínio físico deve morar. No Physics-IQ ele fica uns dois pontos atrás do FLUX 3 fechado; em planos completos, à frente de todos os modelos testados, fechados inclusive. Essas duas coisas só fecham se o raciocínio acontece no planejador e o backbone de difusão faz a renderização. Os próprios números do PAN 2 apontam para o modelo de linguagem, e para um modelo de vídeo mais perto de um decodificador muito bom do que de uma mente.

Artigos relacionados