← 블로그로
Ai약 11 분 읽기

NVIDIA, 월드 모델 'Cosmos 3' 파생 4종과 디코딩 프레임워크 'VFlash' 잇달아 공개

게시일 2026년 11월 11일
NVIDIA, 월드 모델 'Cosmos 3' 파생 4종과 디코딩 프레임워크 'VFlash' 잇달아 공개

NVIDIA는 11월 5일 Cosmos 3 체크포인트 네 종을 허깅페이스에 올렸다. 모두 16B 파라미터 Cosmos 3 Nano를 사후학습한 버전이고, 상업적·비상업적 사용을 허용하는 OpenMDW1.1로 공개됐다. 가중치와 함께 사후학습 레시피와 추론 코드도 내놨다. 출하 상태로 돌리는 데 그치지 않고 자사 센서 구성에 맞춰 적응시킬 수 있다는 뜻이다.

그다음 날 NVIDIA는 VFlash를 내놨다. 같은 문제의 다른 부분을 공략하는 디코딩 프레임워크다. 두 배포는 따로보다 함께 볼 때 더 흥미롭다. 하나는 세계를 생성하는 이야기이고, 다른 하나는 그 세계에서 사물이 어디 있는지를 얼마나 빨리 말할 수 있는가의 이야기이기 때문이다.

체크포인트 네 종이 하는 일

Cosmos 3는 6월에 나온 월드 파운데이션 모델 계열로, Mixture-of-Transformers 백본을 쓴다. 추론을 맡는 자기회귀 서브시퀀스와 생성을 맡는 확산 서브시퀀스가 있고, 모달리티마다 별도 인코더를 두며 가운데에 공유 표현 공간을 둔다. 크기는 Super와 Nano 두 가지다. 11월 배포는 작은 쪽을 네 갈래로 전문화해 사후학습한 것이다.

Cosmos3-Nano-Transfer-Auto는 오프라인 주행 데이터를 생성한다. 최대 11개 카메라 시야에 걸친 동기화 영상을 어안까지 포함해 만든다. 여기에 LiDAR 포인트 클라우드가 붙는다. 도로 배치와 교통 행태는 World Scenario Map을 통해 카메라별로 설정하고, 겉모습은 텍스트로 조종한다.

옅은 회색 면 위에 무광 검정 카메라 렌즈가 정교한 격자로 배열된 모습을 위에서 내려다본 장면.

Cosmos3-Nano-Sim-Auto는 Transfer-Auto를 인과적으로 증류한 스트리밍 버전이다. 동기화된 카메라 영상과 LiDAR의 작은 조각을 몇 단계 노이즈 제거로 내보낸다. 고정된 클립 하나가 아니라 긴 상호작용 롤아웃에 필요한 것이다.

Cosmos3-Nano-Sim-Transfer는 물리 시뮬레이터의 제어값과 텍스트 프롬프트를 받아 사실적인 RGB 영상을 돌려준다. 물리 상태는 시뮬레이터에 남고, 모델은 깊이와 세그멘테이션, 에지, 블러 네 가지 공간 제어에 조건화된다. 이 분업이 쓸모 있는 부분이다. 신뢰하는 동역학은 손에 남기고, 갖고 있지 않은 픽셀을 빌린다.

Cosmos3-Nano-Sim-Bimanual은 양팔 로봇이나 카메라 동작으로 다음 영상 프레임을 예측한다. YAM과 AgiBot 실체를 지원하고, 하나의 제어 시퀀스로 시점 변화와 조작을 전환할 수 있다. 문서의 혼합 동작 예시는 제어값 59개를 쓴다.

읽을 만한 학습 세부

NVIDIA는 네 단계 레시피를 공개했다. 양방향 적응, teacher forcing, 일관성 증류, self-forcing이다.

주목할 것은 마지막이다. self-forcing은 정답 프레임만이 아니라 모델이 스스로 생성한 이력으로 학습한다. 자기회귀 영상에서 오차 누적을 늦추는 표준 기법이다. 깨끗한 문맥으로만 학습하면 모델은 자기 드리프트에서 회복하는 법을 배우지 못하고, 풀어놓는 순간 드리프트가 복리로 쌓인다.

AI 영상이 10초 만에 무너지는 것을 본 사람이라면 그 증상을 안다. 해법을 레시피 형태로, 가중치와 코드까지 붙여 공개하는 것이 또 다른 데모 릴을 내놓는 것보다 유용하다.

더 인용돼야 할 문장

NVIDIA는 이 모델들이 정책 학습과 평가를 안정적으로 뒷받침하는지는 아직 측정되지 않았다고 밝힌다.

출시 발표로는 이례적으로 정직한 한 줄이고, 오픈 월드 모델을 다루는 모든 기사에 따라붙어야 한다. 회사가 말하는 것은 그럴듯한 영상을 만드는 월드 모델이 그렇다고 유용한 학습 환경임이 입증된 것은 아니라는 점이다. 아름답게 렌더링하지만 물리적으로 틀린 시뮬레이터 안에서 학습한 정책은 잘못된 것을 배우고 실세계에서 실패한다. 그리고 그 실패는 물리 버그가 아니라 환각처럼 보인다.

그 틈을 메우려면 대부분의 팀이 갖추지 못한 평가가 필요하다. 생성된 세계에서 학습한 정책을 가져다 실기 하드웨어에 올리고 차이를 재는 일이다. 비싸고 느리고, 출시 글에 담기는 종류의 결과가 아니다.

그래서 이번 배포의 정직한 틀은 이렇다. NVIDIA는 강한 생성기 네 개와 레시피를 커뮤니티에 건넸고, 학습 환경으로 작동한다고 주장하지 않았다. 그 주장은 커뮤니티가 벌어야 한다.

VFlash, 좌표는 단어가 아니다

자기회귀 디코딩은 언어를 위해 설계됐다. 다음 토큰은 합리적인 단위다. 기하는 다르다. 로봇에는 파지점과 방향, 경로가 필요하고, 그것을 좌표 하나씩 생성하는 것은 느리고 약하다. 각 예측이 이전 예측에 조건화되므로 이른 오류가 전파된다. 웨이포인트가 열 개면 드리프트 기회도 열 번이다.

VFlash는 토큰 단위 생성을 NVIDIA가 flash primitive decoding이라 부르는 방식으로 바꾼다. 모델은 도구 호출로 출력 길이를 선언하고 프리미티브 유형을 선언하며, 가벼운 드래프트 모델이 기하 객체 전체를 병렬로 예측한다. 대상 비전 언어 모델은 얼려 둔다. 성립하려면 세 가지 공학 문제를 풀어야 한다. 경계 정렬, 즉 디코드 블록이 토큰 창에 잘리지 않고 하나의 완전한 기하에 대응하는 것. 위치 정렬, 즉 좌표와 웨이포인트가 항상 고정 폭 필드에 놓이는 것. 그리고 기하 구조 학습, 이것이 드래프트 모델의 역할이다.

드래프트 모델은 5층 비인과 Transformer이고, 대상 VLM을 완전히 얼린 채 학습한다. 텍스트 하위 과제는 여전히 투기적 디코딩을 거친다. 전체는 재학습이 아니라 플러그인이다.

숫자는 구체적이다. H100, 배치 크기 1에서 3D 점 운동 예측은 단일 생성 속도의 최대 25배에 이른다. 로봇 동작 디코딩은 최대 12배 빠르다. 엔드투엔드 로봇 추론은 최대 5.1배 빠르다. 3D 궤적 오차는 최대 61% 줄고, ShareRobot-Bench와 VABench-V의 여섯 지표에서 평균 3D 변위 오차는 42.6% 낮아진다. DAVIS에서는 조밀한 3D 운동 예측이 변위 오차를 27% 줄인다. COCO와 Dense200의 바운딩 박스 생성은 거의 기준선 정확도로 2.6~2.8배 빠르다.

그리고 MolmoSpaces에서 VFlash 시각 계획에 조건화된 월드 액션 모델은 평균 과제 성공률 70.2%로 기준선 62.6%를 앞선다.

Jim Fan의 요약은 System 1 비전 모델의 시대가 왔고 다음 추론 혁명은 반사 속도의 물리 추론이라는 것이었다. 마케팅이지만 방향은 맞다. 반사 속도 제어에는 기하를 한 번에 내놓는 디코더가 필요하다.

이 한 쌍에서 팀이 가져갈 것

물리 세계에 닿는 무엇을 만들고 있다면 실무적 해석은 이렇다. 스택의 두 반쪽이 방금 싸졌다.

생성 쪽. 내려받을 수 있는 16B 체크포인트 네 개에 카메라별 시나리오 제어, LiDAR 동기화, 물리를 신뢰할 수 있는 곳에 남기는 시뮬레이터 조건화 모드가 붙는다. 요구 사항은 화려하지 않다. Linux, NVIDIA GPU, Docker, 컨테이너 툴킷이다.

제어 쪽. 얼린 VLM을 재학습 없이 제어 주기로 계획할 만큼 빠르게 바꾸는 디코딩 프레임워크다.

아무도 내놓지 않은 반쪽은 평가다. Cosmos가 생성한 데이터로 학습한 정책이 실기로 전이되는지는 여전히 미해결이고 NVIDIA도 그렇게 말한다. 오픈 월드 모델이 학습 데이터의 지름길인지 아니면 아주 예쁜 렌더러인지를 결정할 작업이 그것이다.

관련 글