← Retour au blog
AiEnviron 8 min de lecture

Cosmos3-Edge tourne sur un Mac : 113 secondes pour cinq secondes de vidéo

Publié le 11 nov. 2026
Cosmos3-Edge tourne sur un Mac : 113 secondes pour cinq secondes de vidéo

Le 7 novembre, un développeur publiant sous le nom de NetProjects a mis en ligne un portage MLX de Cosmos3-Edge de NVIDIA. La version complète fait 7,6 GB. La version 8 bits, 5,0 GB. Sur un M5 Max avec 128 GB de mémoire unifiée, la version 8 bits a exécuté l’exemple image-vers-vidéo de NVIDIA, du 832 par 480 sur 121 images, en 113 secondes, avec un pic mémoire de 18,8 GB.

Relisez ces nombres dans les unités qui comptent. 113 secondes pour générer environ cinq secondes de vidéo en 480p. Cela fait à peu près une image par seconde de calcul, sur un ordinateur portable, pour un modèle de quatre milliards de paramètres.

La réaction évidente est que c’est inutilisable pour faire de la vidéo. La réaction correcte est que personne ne l’a construit pour faire de la vidéo.

Ce qu’est réellement Cosmos3-Edge

Cosmos3-Edge est un modèle du monde de 4B paramètres. Il génère de la vidéo en 256p ou 480p, de 50 à 150 images, à partir d’un texte ou d’une image de départ. Il est publié sous licence OpenMDW 1.1, qui autorise l’usage commercial.

Le mot important est modèle du monde. NVIDIA a construit cette famille pour la robotique et la conduite autonome, où le travail consiste à prédire ce qui suit étant donné une scène et une action. La sortie est une hypothèse sur la physique : si le véhicule garde cette trajectoire, le piéton descend-il du trottoir, la caisse glisse-t-elle, le bras entre-t-il en collision avec l’étagère.

La fiche du modèle de NVIDIA dit que les sorties « ne doivent pas être traitées comme une simulation physiquement exacte ». Cette phrase est tout le cahier des charges. Le modèle est censé produire un mouvement assez plausible pour servir à l’entraînement et faux de façon mesurable. Un rendu photoréaliste qui viole la conservation de la quantité de mouvement est pire qu’un rendu laid qui la respecte, si ce qui consomme la sortie est un réseau de politique.

Le plafond de 480p n’est donc pas une limite dont il faut s’excuser. L’entraînement robotique n’a pas besoin de 4K. Il a besoin de nombreuses variantes, rapides, bon marché et assez cohérentes pour qu’une politique entraînée dessus se transfère au monde réel.

Pourquoi le portage Mac compte

Parce qu’il change qui peut en faire tourner un.

Jusqu’ici, évaluer un modèle du monde supposait une allocation GPU. Modeste, mais réelle, avec une pile de pilotes, un conteneur et le cluster de quelqu’un. C’est un filtre. Il fait que ceux qui peuvent tripoter un modèle sont ceux qui ont déjà de l’infrastructure, et ceux qui ont la question robotique intéressante n’en ont souvent pas.

Une version 8 bits de 5,0 GB qui tourne sur du silicium Apple sous MLX supprime ce filtre. Quiconque a un Mac récent et assez de mémoire peut générer une centaine de clips pendant la nuit, les regarder et se faire un avis. C’est ainsi qu’une direction de recherche devient un domaine plutôt qu’une démonstration.

Le chiffre de 128 GB joue un rôle ici. Un pic de 18,8 GB signifie que la machine n’a pas besoin d’être le haut de gamme. Un Mac de 32 GB devrait faire tenir la version 8 bits avec de la place pour le système. Les 113 secondes seront pires avec une bande passante mémoire plus faible, mais la capacité de l’exécuter du tout est le seuil qui compte.

Il y a aussi un point plus subtil sur MLX. Le framework d’Apple est optimisé pour la mémoire unifiée, ce qui convient à cette charge. Un modèle vidéo de type diffusion à 4B paramètres est limité par la bande passante mémoire plus que par le calcul. C’est pourquoi le portage est plausible, et pourquoi il performe mieux qu’une estimation naïve fondée sur les téraflops ne le laisserait croire.

Les réserves sont réelles

C’est un portage non officiel. L’auteur indique clairement qu’il n’est pas affilié à NVIDIA. Il n’y a pas de démo. Quand le site qui a relayé l’information a tenté d’ouvrir la page d’installation GitHub, cela a échoué.

Un téléchargement de 5 GB, un environnement MLX, et un modèle sans démo avec une page d’installation qui s’affiche ou non : c’est un artefact de week-end, d’une personne qui voulait voir si cela marchait. Ce n’est pas un produit. Traitez toute affirmation de performance en conséquence, y compris les 113 secondes, qui sont un seul point de mesure sur une seule machine avec un seul exemple.

Il y a aussi un détail de licence à lire avant de construire quoi que ce soit de commercial. OpenMDW 1.1 autorise l’usage commercial, mais ce n’est ni Apache 2.0 ni MIT. Lisez les termes, en particulier si vous prévoyez de distribuer les poids ou les sorties.

Et la réserve habituelle de qualité pour les modèles du monde. Donnez-lui la photo d’une cuisine et un prompt sur un bras robotique qui attrape une tasse, vous obtiendrez un mouvement qui paraît plausible. Regardez de près : la tasse peut changer de forme, le bras peut traverser le plan de travail, l’éclairage peut dériver. Ces échecs sont exactement ce qu’un roboticien veut mesurer. Ils sont exactement ce qu’un monteur ne peut pas utiliser.

Ce que 113 secondes achètent

Soyons concrets sur l’arbitrage, parce que le chiffre semble mauvais et ne l’est probablement pas.

Si vous générez des données d’entraînement pour une politique de manipulation, vous n’avez pas besoin de vingt clips. Il vous en faut des milliers, variés en éclairage, pose d’objet, angle de caméra et matériau de surface. Un pipeline qui produit un clip de 121 images toutes les deux minutes sur un portable produit environ 700 clips par jour, sans surveillance. C’est un jeu de données utilisable pour une petite expérience, et il coûte de l’électricité.

Comparez avec la location de temps GPU pour le même volume. La location est plus rapide par clip et exige toute une couche opérationnelle. Pour un doctorant ou une startup de deux personnes qui teste si un modèle du monde est même la bonne approche, le portable gagne sur le temps jusqu’au premier résultat, seule métrique qui compte à ce stade.

L’autre chose que 113 secondes achètent, c’est l’honnêteté sur l’échelle. Quand chaque clip coûte deux minutes d’attention de votre propre machine, vous les regardez. Vous remarquez les échecs. Quand chaque clip coûte quatre centimes et arrive par lots de cinq cents, vous agrégez et passez à la suite. La lenteur est une contrainte qui force à lire réellement ses sorties.

Le schéma à surveiller

Ce qui compte cette semaine, c’est le calendrier. Le portage est arrivé six jours après le cycle de sortie du modèle, fait par une personne seule, gratuitement, sur du matériel que NVIDIA ne vend pas.

La trajectoire de la diffusion pour les poids ouverts ressemble désormais à ceci. Un laboratoire publie des poids sous une licence plutôt permissive. En une semaine, quelqu’un a un build MLX, un autre une quantification GGUF, un troisième un nœud ComfyUI. L’outillage officiel arrive des mois plus tard, quand il arrive.

Pour NVIDIA, c’est surtout une bonne nouvelle. Cosmos est un pari stratégique sur les modèles du monde devenant le substrat d’entraînement de l’IA physique, et un substrat gagne en valeur à mesure que plus de gens peuvent l’exécuter. Le verrouiller aux GPU de datacenter protégerait une marge et réduirait un écosystème.

Pour Apple, c’est une victoire discrète. Chacun de ces portages est un argument que la mémoire unifiée suffit pour des charges d’inférence qu’on croyait réservées à une carte dédiée. Le M5 Max ne bat un H100 sur rien. Il rend une catégorie de modèles exécutable par des gens qui ne toucheront jamais un H100.

Que le chiffre de 113 secondes survive au contact de plus d’utilisateurs reste une question ouverte. Quelqu’un le lancera sur un M4 Pro avec 24 GB, heurtera un mur de mémoire et publiera une correction. C’est très bien. L’affirmation utile est qu’un modèle du monde de 4B tient désormais sur un portable, ce qui change qui peut avoir un avis sur les modèles du monde. La vitesse est une note de bas de page.

Articles associés