← Voltar ao blog
Aicerca de 7 min de leitura

A NVIDIA abriu quatro modelos de mundo de 16B. O que ninguém mediu é o aprendizado de política

Publicado 11 de nov. de 2026
A NVIDIA abriu quatro modelos de mundo de 16B. O que ninguém mediu é o aprendizado de política

Em 5 de novembro, a NVIDIA colocou quatro checkpoints do Cosmos 3 no Hugging Face. Cada um é uma versão pós-treinada do Cosmos 3 Nano, de 16 bilhões de parâmetros, publicada sob OpenMDW1.1, uma licença que permite uso comercial e não comercial. Junto com os pesos, a empresa liberou as receitas de pós-treinamento e o código de inferência, para que uma equipe possa adaptar os modelos ao próprio conjunto de sensores em vez de apenas rodá-los como vêm.

No dia seguinte, a NVIDIA lançou o VFlash, um framework de decodificação que ataca outra parte do mesmo problema. Os dois lançamentos são mais interessantes juntos do que separados, porque um trata de gerar o mundo e o outro de quão rápido você consegue dizer onde estão as coisas nele.

O que os quatro checkpoints fazem

O Cosmos 3 é uma família de modelos de fundação de mundo que estreou em junho com um backbone Mixture-of-Transformers: uma sub-sequência autorregressiva para raciocínio e uma sub-sequência de difusão para geração, com codificadores separados por modalidade e um espaço de representação compartilhado no meio. Existem dois tamanhos, Super e Nano. O lançamento de novembro são quatro pós-treinos especializados do menor.

O Cosmos3-Nano-Transfer-Auto gera dados de direção offline. Produz vídeo sincronizado em até 11 vistas de câmera, incluindo fisheye, mais nuvens de pontos LiDAR. O traçado da via e o comportamento do tráfego são definidos por câmera por meio de um World Scenario Map, e a aparência é guiada por texto.

Vista de cima de lentes de câmera pretas foscas dispostas em grade precisa sobre uma superfície cinza clara.

O Cosmos3-Nano-Sim-Auto é a versão de streaming do Transfer-Auto, destilada de forma causal. Emite pequenos blocos de vídeo de câmera sincronizado e LiDAR em poucos passos de remoção de ruído, que é o que você precisa para rollouts interativos longos em vez de um clipe fixo.

O Cosmos3-Nano-Sim-Transfer recebe os controles de um simulador físico mais um prompt de texto e devolve vídeo RGB fotorrealista. O estado físico fica no simulador, e o modelo é condicionado por quatro controles espaciais: profundidade, segmentação, bordas e desfoque. Essa divisão é a parte útil. Você mantém a dinâmica em que confia e empresta os pixels que não tem.

O Cosmos3-Nano-Sim-Bimanual prevê o próximo quadro de vídeo a partir de ações bimanuais de robô ou de câmera. Suporta as encarnações YAM e AgiBot, e uma única sequência de controle pode alternar entre mudanças de ponto de vista e manipulação. O exemplo de ação mista na documentação usa 59 valores de controle.

O detalhe de treino que vale a leitura

A NVIDIA publicou a receita em quatro estágios: adaptação bidirecional, teacher forcing, destilação de consistência e self-forcing.

O último é o que merece atenção. Self-forcing treina o modelo na própria história gerada, não apenas em quadros de referência, que é o truque padrão para desacelerar o acúmulo de erro em vídeo autorregressivo. Se você treina só com contexto limpo, o modelo nunca aprende a se recuperar da própria deriva, e a deriva se compõe quando ele roda solto.

Quem já viu vídeo de IA desmoronar em dez segundos viu o sintoma. Publicar a correção em forma de receita, com pesos e código, é mais útil do que publicar mais um reel de demonstração.

A frase que deveria ser mais citada

A NVIDIA diz que ainda precisa ser medido se esses modelos sustentam de forma confiável o aprendizado e a avaliação de políticas.

É uma frase incomumente honesta para um lançamento, e deveria acompanhar toda matéria sobre modelos de mundo abertos. O que a empresa está dizendo é que um modelo de mundo que produz vídeo verossímil não foi, por isso, demonstrado como ambiente de treino útil. Uma política treinada dentro de um simulador que renderiza bonito mas está fisicamente errado aprende a coisa errada e falha no mundo real, e a falha vai parecer alucinação, não bug de física.

Fechar essa lacuna exige uma avaliação que a maioria das equipes não está montada para rodar: pegar uma política treinada no mundo gerado, implantar em hardware real e medir o delta. É caro, lento, e não é o tipo de resultado que cabe em um post de lançamento.

Então o enquadramento honesto deste lançamento é que a NVIDIA entregou à comunidade quatro geradores fortes mais as receitas, e recusou explicitamente a alegar que eles funcionam como ambientes de treino. A alegação é da comunidade, para conquistar.

VFlash, e por que coordenadas não são palavras

A decodificação autorregressiva foi desenhada para linguagem, onde o próximo token é uma unidade razoável. Geometria não é assim. Um robô precisa de um ponto de apreensão, uma orientação e um caminho, e gerar isso uma coordenada por vez é lento e frágil. Cada previsão se condiciona à anterior, então um erro cedo se propaga. Dez waypoints significam dez chances de deriva.

O VFlash substitui a geração token a token pelo que a NVIDIA chama de decodificação de primitivas flash. O modelo declara por chamada de ferramenta qual será o comprimento da saída, declara o tipo da primitiva, e então um modelo rascunho leve prevê o objeto geométrico inteiro em paralelo enquanto o modelo de visão-linguagem alvo fica congelado. Três problemas de engenharia precisam ser resolvidos para isso funcionar: alinhamento de fronteira, para que um bloco de decodificação mapeie uma geometria completa em vez de ser fatiado por uma janela de tokens; alinhamento de posição, para que coordenadas e waypoints sempre caiam em campos de largura fixa; e aprendizado da estrutura geométrica, que é para o que serve o modelo rascunho.

O modelo rascunho é um Transformer não causal de cinco camadas, treinado com o VLM alvo completamente congelado. Subtarefas de texto continuam passando por decodificação especulativa. A coisa toda é um plug-in, não um retreino.

Os números são específicos. Em uma H100 com batch size 1, a previsão de movimento de pontos 3D chega a 25 vezes a velocidade de geração única. A decodificação de ações de robô é até 12 vezes mais rápida. A inferência de robô ponta a ponta é até 5,1 vezes mais rápida. O erro de trajetória 3D cai até 61%, com o erro médio de deslocamento 3D caindo 42,6% em seis métricas no ShareRobot-Bench e no VABench-V. No DAVIS, a previsão densa de movimento 3D corta o erro de deslocamento em 27%. A geração de caixas delimitadoras no COCO e no Dense200 roda 2,6 a 2,8 vezes mais rápido com precisão próxima da linha de base.

E no MolmoSpaces, um modelo de ação de mundo condicionado pelo planejamento visual do VFlash chega a 70,2% de sucesso médio na tarefa, contra 62,6% da linha de base.

O resumo de Jim Fan foi que a era do modelo de visão de Sistema 1 chegou, e que a próxima revolução da inferência é raciocínio físico em velocidade de reflexo. Marketing, mas a direção está certa. Controle em velocidade de reflexo precisa de decodificadores que emitam geometria de uma vez.

O que uma equipe deve tirar do par

Se você constrói qualquer coisa que toque o mundo físico, a leitura prática é que as duas metades da pilha acabaram de ficar mais baratas.

A metade da geração: quatro checkpoints de 16B para baixar, com controle de cenário por câmera, sincronização LiDAR e um modo condicionado por simulador que mantém a física onde você confia nela. Os requisitos são pouco glamourosos: Linux, uma GPU NVIDIA, Docker e o container toolkit.

A metade do controle: um framework de decodificação que transforma um VLM congelado em algo rápido o suficiente para planejar em taxas de controle, sem retreiná-lo.

A metade que ninguém entregou é a avaliação. Se uma política treinada com dados gerados pelo Cosmos se transfere para hardware real continua sendo pergunta aberta, e a NVIDIA diz isso. É esse trabalho que vai decidir se modelos de mundo abertos são um atalho de dados de treino ou um renderizador muito bonito.

Artigos relacionados