← 블로그로
Ai약 11 분 읽기

PAN 2, 가중치를 열다: 소거 실험 하나가 설계 전체를 설명한다

게시일 2026년 11월 15일
PAN 2, 가중치를 열다: 소거 실험 하나가 설계 전체를 설명한다

11월 10일, MBZUAI 기초모델연구소(Institute of Foundation Models)가 PAN 2의 가중치와 학습 코드, 추론 코드를 Apache 2.0으로 공개했다. 학습 코드까지 내놓는 월드 모델은 드물고, 보도자료도 그 점을 밀고 있다. 읽어야 할 것은 기술 블로그다. 시스템의 정체를 다시 규정하는 소거 실험이 하나 들어 있다.

PAN 2에 시작 장면과 말로 기술한 동작을 주면, 최대 20초짜리 영상으로 다음에 벌어질 일을 내놓는다. 여기서 문제 되는 것은 화질이 아니다. 이 시퀀스가 물리적으로 말이 되는 인과의 연쇄인지가 문제이고, 그쪽이 훨씬 재기 어렵다.

추론기 둘, 체크포인트 하나

구조는 IFM이 Generative Latent Prediction이라 부르는 것으로, 일을 둘로 쪼갠다.

멀티모달 언어 모델이 시작 이미지와 요청된 동작을 읽고, 다음 세계 상태를 시간 표시가 붙은 구조화된 서술로 써낸다. 누가 움직이는지. 언제 움직이는지. 카메라가 어떻게 가는지. 이 서술은 산문이 아니라 JSON이고, 그게 중요하다. 검사할 수 있는 인터페이스가 되기 때문이다.

29B 파라미터 멀티모달 확산 트랜스포머가 언어가 열어둔 부분을 채운다. 처음부터 학습했고, 소재는 화면이 예쁜지가 아니라 물리적 움직임을 기준으로 골랐다. 접촉. 변형. 파도가 부서지는 모양. 얼려둔 Qwen3.5-9B 텍스트 인코더가 조건을 걸고, Wan 2.2의 VAE가 프레임을 디코딩한다.

공개된 체크포인트는 텍스트에서 비디오, 이미지에서 비디오를 모두 다룬다. 기본값은 704×1248, 초당 24프레임, 샘플링 50스텝, CFG 2.5, 최대 20초다. 카메라 움직임과 피사체 움직임을 따로 기술한다. 시점이 바뀌어도 장면이 무너지지 않는 이유가 여기 있다.

IFM의 기본 플래너는 Kimi K3다. Physics-IQ Verified 리더보드 설정에서는 개념 추론기로 Claude Opus 5.5를 썼다. 이 세부는 기억해 둘 만하다. 헤드라인 점수가 남의 언어 모델에 대한 이야기이기도 하기 때문이다.

이야기의 핵심은 소거 실험

리더보드 순위보다 더 많이 인용돼야 할 표는 이거다.

개념 추론 단계를 빼고 동작을 확산 모델에 바로 넣으면, 다단계 계획 완수율이 34.0%에서 0.0%로 떨어진다. 단일 단계 완수율은 75.1%에서 8.7%로 떨어진다.

프롬프트를 같은 구조화 형식으로 다시 쓰되 표면 서식만 남기면, 전체 계획 완수율은 27.8%까지 돌아온다. 가치의 대부분은 추론 쪽에 있고, 서식에는 거의 없다. 구조 자체가 조금을 더한다.

다시 말해 보자. 누가 언제 무엇을 하는지 정하는 플래너가 없으면, 이 비디오 모델은 다단계 과제를 아예 끝내지 못한다. 못한다 수준이 아니다. 0이다. 비디오 생성기로 팔리는 이 물건은 스케줄러에 붙인 렌더러에 가깝고, 물리 추론은 스케줄러 쪽에 산다.

어두운 작업대 위에 열린 기계식 탈진 장치. 탈진 휠의 톱니 하나가 빠져 기어열이 멈춰 있다.

이 관점은 IFM이 인정한 실패 유형도 설명한다. 모의 계획 세 개 중 두 개는 여전히 최소 한 단계를 빠뜨린다. 셋 중 하나만 들어맞는다. 모델 카드에는 구체적인 패턴도 적혀 있다. 요구된 결과를 향해 가면서도 필요한 물리 단계를 건너뛸 때가 있다. 그럴듯한 마지막 프레임은 끊어진 시퀀스를 가린다. 마지막 1초만 보면 믿게 된다.

어디에 서 있나

일상 과제 100개에 대한 다단계 계획, 전체 계획 완수율:

모델전체 계획 완수율
PAN 234.00%
MiniMax-H332.50%
FLUX 326.77%
Seedance 2.524.49%

IFM이 물리 지능을 재는 여섯 축, 물리 일관성, 인과 정합성, 실체 지속성, 제약 충족, 시점 불변성, 목표 역학에서 PAN 2는 종합 84.48이다. MiniMax-H3는 87.20. 즉 PAN 2는 계획을 끝까지 완수하는 쪽에서 앞서고, 계획 안쪽의 개별 능력에서는 뒤진다. 이상하고 또 아주 구체적인 모양의 결과다. 한 시퀀스를 탈선시키지 않는 일이 그 안의 프레임 하나를 잘 만드는 일보다 특기라는 뜻이다.

Physics-IQ Verified에서 PAN 2는 49.38, 플래너는 Opus 5.5. 오픈 웨이트 중 최고이며 Cosmos 3 Super의 48.62를 앞서고, 클로즈드인 FLUX 3의 51.11에는 못 미친다. PhyGround는 4.74, RBench는 57.04. 동작 준수, 물리적 개연성, 세계 일관성에 대한 블라인드 인간 비교에서는 테스트한 오픈 모델 네 개 중 2위였다.

숫자는 모두 IFM 자체 보고에서 나왔다. 공개 리더보드 설정은 저자들이 직접 보고하는데, 늘 있는 관행이고 늘 붙는 단서이기도 하다.

설치하기

가중치는 Hugging Face의 IFM/PAN2에 있다. 코드는 ifm-ai/PAN2, 안전 필터는 ifm-ai/pan2-guardrail 저장소로 따로 있고, IFM은 함께 돌리기를 강하게 권한다. Diffusers와 vLLM-Omni는 공개 당일부터 지원한다.

연산 문턱은 높고 문서도 숨기지 않는다. 추론 워커마다 29B 모델을 통째로 올리고 프롬프트를 나눠 맡는다. GPU를 더 넣어 사는 것은 동시 처리량이고, 요청 하나가 빨라지는 게 아니다. 오프로드 옵션은 CPU 메모리와 GPU 사이로 블록을 옮기는데, 얼마나 도움이 될지는 하드웨어에 전적으로 달렸다.

놓치기 쉽지만 중요한 운용상의 디테일이 있다. IFM은 Codex나 Claude Code에서 도는 Conceptual Reasoner skill을 함께 내놓고, 생성 전에 이것으로 자유 텍스트 프롬프트를 구조화 캡션으로 바꾸라고 권한다. 그 소거 실험이 제품 결정으로 나타난 셈이다. 여기서 프롬프트 엔지니어링은 형용사를 잘 고르는 일이 아니라 쓸 만한 일정표를 뽑는 일이다.

첫 시도는 작게, 조건을 고정해서 하는 편이 좋다. 시작 이미지와 다시 쓴 프롬프트, 설정, 출력을 함께 저장해 두면, 시퀀스가 이상해졌을 때 동작 서술이 모호했는지, 구조화 프롬프트가 조건 하나를 흘렸는지, 비디오 단계에서 물체를 잃었는지 가려낼 수 있다.

이걸 어디에 쓰나

IFM은 분명히 말한다. 이건 에이전트를 위한 토대이고, 데모 영상용 장난감이 아니다. 의도한 루프는 이렇다. 에이전트가 동작을 제안하고, PAN 2가 결과를 모의하고, 에이전트가 결과를 비교해 고치고, 새 관측이 다시 들어온다. 이 루프를 돌릴 값이 있으려면 모의가 그럴듯한 데 그치지 않고 현실과 대조해 검증될 수 있어야 한다.

34%가 중요한 지점이 여기다. 계획 셋 중 하나만 완수되고 둘이 단계를 빠뜨린다면, 이걸로 계획을 세우는 에이전트는 꽤 자주 틀린다. 루프에 검증기를 넣어야 하고, 어쩌면 사람도 넣어야 한다. 팀도 그렇게 말한다. 장기적인 세계 일관성은 여전히 미해결이고, 프롬프트 민감도는 문서화돼 있으며, 클립 간 일관성도 문제로 기록돼 있다.

그래도 내려받을 값이 있는 이유는 두 가지다. 가중치와 학습 코드가 있으면 실패를 믿는 대신 재현할 수 있다. 플래너 소거는 깔끔하고 값싼 실험을 준다. 언어 모델만 바꾸고 나머지는 그대로 둔 뒤 계획 완수율이 움직이는지 본다. 리더보드를 다시 돌리는 것보다 오후 한나절을 훨씬 잘 쓰는 방법이다.

PAN 2가 실제로 던지는 질문은 물리 추론이 어디에 살아야 하느냐다. Physics-IQ에서는 클로즈드인 FLUX 3에 두 점가량 뒤진다. 전체 계획에서는 클로즈드까지 포함해 모든 모델을 앞선다. 두 결과가 함께 성립하려면 추론이 플래너에서 일어나고 확산 백본이 렌더링을 맡는 수밖에 없다. PAN 2 자신의 숫자는 언어 모델을 가리키고, 비디오 모델 쪽으로는 두뇌보다 아주 좋은 디코더에 가깝다는 것을 가리킨다.

관련 글

서버 한 대, AI 스트리머 한 명: 야간 라이브를 돌리는 코드

open-yoki는 매일 밤 Binance Square에서 방송하는 AI 진행자의 프로덕션 코드로, 성격과 목소리, 돈에 닿는 기능은 걷어냈습니다. headless Chrome이 프레임을 그리고 ffmpeg이 RTMP를 밀며, Markdown 폴더가 그녀의 기분과 올릴 글을 정합니다.

Pinky는 agent에게 당신의 폰을 맡기고, 당신이 허용을 누를 때까지 전송 버튼을 붙잡고 있습니다

Pinky는 어떤 MCP agent든 실제 iPhone이나 Android 폰에 연결하고, 승인을 프롬프트가 아닌 자체 게이트웨이에서 강제합니다. 은행 앱은 보이지 않고 비밀번호 입력란은 손댈 수 없으며, Android 13에서는 agent가 숨겨진 두 번째 화면을 받습니다.

인터페이스의 AI 티를 잡아내고 9단계로 고치는 Claude skill

unslop은 Claude Code, Codex, Antigravity에서 도는 skill로, vibecoded 화면이 어디서 싸구려처럼 보이는지를 먼저 이름 붙여 줍니다. 제품에서 방향을 잡고 나면 디자이너가 redline review를 하듯 패스를 겹쳐 고칩니다. star는 19,413개이고, slop이 무엇인지에 대한 답도 분명합니다.

세계의 법을 git에 넣은 사람들, 이제 법조문도 blame할 수 있다

global-law는 각국 법령을 git 저장소로 보관하고, 커밋 하나가 특정 날짜에 시행된 법 하나에 대응한다. 조문에 log, blame, show, diff를 돌릴 수 있고, 어느 날 각국에서 시행 중이던 법을 확인하고, 코퍼스 전체를 MCP로 어시스턴트에 넘길 수 있다.