O modelo de mundo 4B da NVIDIA agora roda num Mac. Não é câmera

Em 7 de novembro, um desenvolvedor com o apelido NetProjects publicou um port em MLX do Cosmos3-Edge, da NVIDIA. O build completo tem 7.6 GB. O build de 8 bits tem 5.0 GB. Num M5 Max com 128 GB de memória unificada, a versão de 8 bits rodou o exemplo de imagem-para-vídeo da própria NVIDIA, 832 por 480 em 121 quadros, em 113 segundos, com pico de memória de 18.8 GB.
Leia esses números de novo nas unidades que importam. 113 segundos para gerar cerca de cinco segundos de vídeo em 480p. Isso é aproximadamente um quadro por segundo de computação, num notebook, para um modelo de quatro bilhões de parâmetros.
A reação óbvia é que isso não serve para fazer vídeo. A reação correta é que ninguém construiu isso para fazer vídeo.
O que o Cosmos3-Edge é de fato
O Cosmos3-Edge é um modelo de mundo de 4B parâmetros. Gera vídeo em 256p ou 480p, de 50 a 150 quadros, a partir de texto ou de uma imagem inicial. É liberado sob a licença OpenMDW 1.1, que permite uso comercial.
A palavra importante é modelo de mundo. A NVIDIA construiu essa família para robótica e direção autônoma, onde o trabalho é prever o que acontece em seguida dada uma cena e uma ação. A saída é uma hipótese sobre física: se o veículo mantém essa trajetória, o pedestre sai na frente, a caixa escorrega, o braço colide com a prateleira.
O próprio model card da NVIDIA diz que as saídas “não devem ser tratadas como simulação fisicamente precisa”. Essa frase é o briefing de design inteiro. O modelo deve produzir movimento plausível o suficiente para treinar contra e errado de formas que você consegue medir. Um render fotorrealista que viola conservação de momento é pior do que um feio que respeita, se o consumidor a jusante é uma rede de política.
Então o teto de 480p não é limitação para pedir desculpa. Treino de robótica não precisa de 4K. Precisa de muitas variações, rápido, barato e consistente o suficiente para que uma política treinada nelas transfira para o mundo real.
Por que o port para Mac importa
Porque muda quem consegue rodar um.
Até agora, avaliar um modelo de mundo significava uma alocação de GPU. Pequena, mas real, com driver, contêiner e o cluster de alguém. Isso é um filtro. Significa que quem consegue mexer num modelo é quem já tem infraestrutura, e quem tem a pergunta interessante de robótica muitas vezes não tem.
Um build de 5.0 GB em 8 bits que roda em Apple silicon sob MLX remove o filtro. Qualquer pessoa com um Mac recente e memória suficiente gera cem clipes durante a noite, olha para eles e forma uma opinião. É assim que uma direção de pesquisa vira campo em vez de demo.
O número de 128 GB faz trabalho aqui. Pico de 18.8 GB significa que a máquina não precisa ser a topo de linha. Um Mac de 32 GB deve caber o build de 8 bits com espaço para o sistema. Os 113 segundos vão piorar com banda de memória mais lenta, mas a capacidade de rodar é o limiar que importa.
Há também um ponto mais sutil sobre o MLX especificamente. O framework da Apple é otimizado para memória unificada, o que cai bem nesta carga. Um modelo de vídeo estilo difusão de 4B é limitado por banda de memória mais do que por computação. É por isso que o port é plausível e por isso ele rende melhor do que uma estimativa ingênua baseada em teraflops sugeriria.
As ressalvas são reais
Este é um port não oficial. O autor declara abertamente que não tem vínculo com a NVIDIA. Não há demo. Quando o site de notícias tentou abrir a página de instalação no GitHub, falhou.
Um download de 5 GB, um ambiente MLX e um modelo sem demo e com página de instalação que pode ou não renderizar é artefato de fim de semana de alguém que queria ver se funcionava. Não é produto. Trate qualquer alegação de desempenho de acordo, incluindo os 113 segundos, que são um único ponto de dados numa única máquina com um único exemplo.
Há também um detalhe de licença que vale ler antes de construir algo comercial em cima. A OpenMDW 1.1 permite uso comercial, mas não é Apache 2.0 nem MIT. Leia os termos, principalmente se você pretende distribuir pesos ou saídas.
E a ressalva de qualidade de sempre para modelos de mundo. Dê a ele uma foto de cozinha e um prompt sobre um braço robótico alcançando uma xícara, e você terá movimento que parece plausível. Olhe de perto e a xícara pode mudar de forma, o braço pode atravessar a bancada, a luz pode derivar. Essas falhas são exatamente o que um pesquisador de robótica quer medir. São exatamente o que um editor de vídeo não pode usar.
O que 113 segundos compram
Deixe-me ser concreto sobre a troca, porque o número soa ruim e provavelmente não é.
Se você gera dados de treino para uma política de manipulação, não precisa de vinte clipes. Precisa de milhares, variados em iluminação, pose do objeto, ângulo de câmera e material de superfície. Um pipeline que produz um clipe de 121 quadros a cada dois minutos num notebook produz cerca de 700 clipes por dia, sem supervisão. É um conjunto utilizável para um experimento pequeno, e custa eletricidade.
Compare com alugar tempo de GPU para o mesmo volume. O aluguel é mais rápido por clipe e exige uma camada operacional inteira. Para um estudante de pós-graduação ou uma startup de duas pessoas testando se um modelo de mundo é sequer a abordagem certa, o notebook ganha em tempo até o primeiro resultado, que é a única métrica que importa nessa fase.
A outra coisa que 113 segundos compram é honestidade sobre escala. Quando cada clipe custa dois minutos de atenção da sua própria máquina, você olha para eles. Você nota as falhas. Quando cada clipe custa quatro centavos e chega num lote de quinhentos, você agrega e segue. Lentidão é uma função forçada para realmente ler suas saídas.
O padrão para observar
O que importa nesta semana é o tempo. O port saiu seis dias depois do ciclo de lançamento do modelo, feito por uma pessoa, de graça, em hardware que a NVIDIA não vende.
O caminho da difusão para pesos abertos agora é este. Um laboratório publica pesos sob uma licença mais ou menos permissiva. Em uma semana, alguém tem um build em MLX, outra pessoa tem uma quantização GGUF e um terceiro tem um nó de ComfyUI. O tooling oficial chega meses depois, se chegar.
Para a NVIDIA isso é basicamente bom. O Cosmos é uma aposta estratégica em modelos de mundo se tornarem o substrato de treino da IA física, e um substrato fica mais valioso quanto mais gente consegue rodá-lo. Prendê-lo a GPUs de datacenter protegeria uma margem e encolheria um ecossistema.
Para a Apple é uma vitória silenciosa. Cada um desses ports é um argumento de que memória unificada basta para cargas de inferência que as pessoas assumiam precisar de placa dedicada. O M5 Max não vence uma H100 em nada. Ele torna uma categoria de modelo executável por gente que nunca vai tocar numa H100.
Se o número de 113 segundos sobrevive ao contato com mais usuários é uma pergunta aberta. Alguém vai rodar num M4 Pro com 24 GB, bater num limite de memória e publicar uma correção. Tudo bem. A alegação útil é que um modelo de mundo de 4B agora cabe num notebook, o que muda quem tem direito a ter opinião sobre modelos de mundo. A velocidade é nota de rodapé.
Artigos relacionados
O Antigravity levou os agentes para a nuvem. O que fica de fora é o seu setup local
A versão 2.29 do Antigravity coloca o agente em uma VM na nuvem que sobrevive ao seu laptop e usa voz para aprovar permissões. O setup local não vai junto.
A NVIDIA abriu quatro modelos de mundo de 16B. O que ninguém mediu é o aprendizado de política
Quatro modelos de mundo abertos de 16B e um decodificador que emite geometria de uma só vez. A NVIDIA entregou as duas metades, mas admitiu que falta medir o aprendizado de política.
Quatro dos repositórios em alta no GitHub são bibliotecas de skills. O problema agora é empacotar
Skills de agente ocupam mais de um quarto das tendências do GitHub, vindas da Anthropic, Google e Cloudflare. O formato é simples; o empacotamento é um caos de quatro caminhos.
A Thinking Machines lançou um modelo de 594B e empurrou os pesos para a semana seguinte
O Inkling 2 Small chega com contexto de um milhão de tokens e visão como canal de verificação. Os pesos abertos, prometidos para a semana seguinte, ainda não têm data.