← Retour au blog
AiEnviron 8 min de lecture

Le modèle 744B qui tient dans 9,9 Go et se lit sur votre disque

Publié le 11 nov. 2026
Le modèle 744B qui tient dans 9,9 Go et se lit sur votre disque

Il y a une ligne dans le README de colibri qui ressemble à une coquille. Un modèle de 744 milliards de paramètres, en int4, en streaming depuis le CPU, prêt en 32 secondes, 9,9 Go résidents. Sur un portable. Sans carte graphique.

Ce n'est pas une coquille, mais ce n'est pas non plus toute la phrase. Les 9,9 Go sont ce qui reste en mémoire. Les 429 Go d'experts que le modèle consulte réellement vivent sur votre disque et sont lus à la demande. Cette distinction, c'est tout le projet.

colibri est écrit en C, un fichier par famille de modèles, par un développeur qui signe JustVugg. Il a atteint le trending GitHub cette semaine à environ 803 étoiles par jour. Treize moteurs sont livrés aujourd'hui : dix pour les modèles de langage, un qui dessine des images, et deux qui prennent des décisions de classification. Le pitch est d'une franchise inhabituelle sur le compromis, et c'est pourquoi il mérite d'être pris au sérieux.

Ce que le streaming d'experts vous achète vraiment

Les modèles mixture-of-experts font déjà ce tour en interne. Un modèle de 744B n'utilise pas 744B paramètres pour un token. Il route ce token vers une poignée d'experts, peut-être 8 sur 512, plus un expert partagé. Le reste ne fait rien.

L'inférence en centre de données les garde tous en VRAM parce que la VRAM est plus rapide que toute alternative. colibri inverse l'hypothèse : si 95 % des poids sont inactifs sur un token donné, pourquoi les garder dans la mémoire la plus chère que vous possédez ? Mettez la partie toujours utilisée en RAM, mettez les experts sur disque, et ne lisez que ceux que le routeur choisit.

Le hic, c'est la latence, et colibri ne la cache pas. Dans le tableau du README, GLM-5.2 tourne à 0,05 à 0,1 token par seconde à froid sur un portable de 25 Go. Ce n'est pas une expérience de chat. C'est une phrase toutes les vingt secondes. Sur un Ryzen AI Max+ 395 à 128 Go, il atteint 1,83 tok/s. Sur six RTX 5090, 9,0 à 9,2. DeepSeek V4 Flash, celui de 284B, fait 0,93 tok/s sur un Ryzen 7 5800X avec 32 Go, et 1,5 à 1,6 avec une RTX 5080 en renfort.

Ces chiffres sont la partie honnête du projet. Beaucoup de promesses « tourne sur votre portable » signifient discrètement « tourne sur votre portable si votre portable est une station de travail ». Celui-ci publie le cas lent à côté du cas rapide, et le cas lent est vraiment lent.

Un ordinateur portable sur un bureau en bois avec un disque externe à côté, sa diode d'activité allumée, la lueur de l'écran se reflétant sur la table

L'installation est un fichier batch

Ce qui fait de colibri plus qu'une curiosité, c'est que quelqu'un a fait le travail ingrat de l'empaqueter pour des gens qui ne compilent pas.

Sous Windows, vous téléchargez le ZIP, double-cliquez sur START-HERE.bat, et il propose d'installer Python si vous ne l'avez pas. Sous Linux et macOS, c'est un git clone et ./start-here.sh. Le script fait ensuite cinq choses dans l'ordre : il lit votre RAM, votre disque, votre CPU et vos GPU ; il recommande un modèle dont la partie résidente plus un cache d'experts minimal tient dans votre RAM ; il compile le moteur pour votre machine s'il existe un compilateur, sinon il télécharge un binaire précompilé ; il télécharge le modèle avec reprise ; et il démarre un serveur local avec un tableau de bord.

La configuration minimale est de 8 Go de RAM et 22 Go de disque libre pour le plus petit modèle. Le GPU est optionnel, et le README est précis sur le moment où il aide : toujours sur une carte discrète, sur un GPU intégré uniquement pour les trois modèles mesurés comme plus rapides dans ce cas.

Le serveur parle deux dialectes qui comptent. http://127.0.0.1:8000/v1 est une URL de base compatible OpenAI, et le port nu est compatible Anthropic. L'usage pratique n'est donc pas de taper dans un terminal. C'est de pointer un outil existant vers localhost et de le laisser croire qu'il parle à un fournisseur cloud.

Il dessine aussi des images

Le treizième moteur est celui qui a retenu mon attention, parce qu'il transforme un projet d'inférence de texte en quelque chose d'utile au travail d'image. colibri embarque un moteur Qwen-Image-2.1. Le même modèle 7B sorti par Alibaba en septembre, celui qui produit du 2048×2048 natif avec un vrai canal alpha.

Le chiffre mesuré dans le README : 33 Go de téléchargement, 12 à 18 Go de RAM, Vulkan pour la voie GPU, et une image de 768×512 en deux minutes quarante sur huit cœurs Zen 4, CPU seul. On peut aussi l'appeler en HTTP sur POST /v1/images/generations, et coli chat dessine le résultat dans le terminal avec des caractères de bloc.

Deux minutes quarante pour une image de 768×512 ne remplacera la facture API de personne. Mais cela recadre ce qu'est le modèle. Qwen-Image-2.1 est sorti sous licence de recherche uniquement, ce qui signifie qu'au moment où vous le mettez derrière un produit payant, il y a une conversation de licence à avoir. Un moteur local qui le fait tourner sur CPU a exactement la forme d'un outil pour la phase d'avant : vous évaluez, vous ne vendez pas.

Là où le disque devient le goulot

Le README le dit sans détour : pour les gros modèles, c'est le disque qui fixe la vitesse, et un NVMe rapide aide le plus. C'est une contrainte architecturale réelle, pas une note de bas de page. Le débit de lecture séquentielle d'un SSD SATA représente environ un dixième d'un bon NVMe, et le schéma d'accès ici n'est pas parfaitement séquentiel non plus.

Ce qui veut dire que la façon honnête de penser colibri est celle d'un système de hiérarchisation mémoire avec une interface en ligne de commande. Vous échangez du débit contre de la capacité. Un modèle de 429 Go ne tient pas dans 32 Go de RAM. Il tient sur un disque de 1 To. La question de savoir si l'échange vaut le coup dépend entièrement de si vous avez plus besoin de la capacité du modèle que de sa vitesse.

Il y a un effet de second ordre qui compte pour le travail d'agent. Les agents fonctionnent par rafales. Ils restent inactifs pendant des minutes, puis lancent vingt appels d'outils. Un modèle local à vingt secondes par réponse est inutilisable dans cette boucle. Un modèle local à deux minutes ne l'est pas davantage. Le cas d'usage honnête est donc le travail par lots : résumer ce dossier, classer ces quatre cents documents, rédiger ces douze descriptions de produit. Des exécutions dont on s'éloigne.

Ce que je testerais en premier

Trois choses valent une vérification avant d'engager de l'espace disque.

Démarrage à froid contre démarrage à chaud. Les 32 secondes du README concernent GLM-5.2 avec un cache de pages chaud, sans doute. Le premier lancement après le boot sera plus lent, et sur un disque mécanique beaucoup plus lent. Chronométrez vous-même.

Si votre modèle est réellement pris en charge. Treize moteurs, c'est beaucoup pour du C écrit à la main, mais c'est une petite part de l'écosystème des poids ouverts. Le README note que les checkpoints partageant une architecture tournent sans modification, ce qui est une échappatoire utile et aussi une réserve : « même architecture » fait un travail discret dans cette phrase.

La licence de ce que vous chargez. colibri lui-même ne change pas les termes des poids qu'il exécute. Qwen-Image-2.1 est réservé à la recherche. Certains modèles de langage sont en MIT. D'autres non. Le moteur est neutre ; le modèle ne l'est pas.

Pourquoi cela compte au-delà d'un dépôt

Pendant deux ans, l'histoire de l'IA locale a été celle de la quantification : rendre le modèle assez petit pour tenir. Deux bits par poids, 4 Go de VRAM, un téléphone. Ce travail est réel et il a produit des choses vraiment utiles.

colibri pointe un autre axe. Au lieu de rendre le modèle plus petit, rendre la hiérarchie mémoire plus profonde. La RAM coûte moins cher que la VRAM. Le disque coûte moins cher que la RAM. L'écart entre « un modèle qui existe » et « un modèle que je peux faire tourner » n'a pas besoin d'être comblé par la compression seule ; il peut l'être en acceptant un étage plus lent.

Ce n'est pas une idée neuve. C'est ainsi que les bases de données fonctionnent depuis quarante ans, et les systèmes d'exploitation depuis plus longtemps. Ce qui est neuf, c'est que quelqu'un l'a livré sous forme de fichier batch pour un modèle de 744B, a publié les benchmarks lents à côté des rapides, et a inclus un modèle d'image dans la boîte.

Le dépôt ne remplacera pas votre abonnement API. Il pourrait remplacer l'idée qu'un modèle de 700B est quelque chose qu'on ne peut que louer. Et l'image qu'il dessine sur huit cœurs CPU en deux minutes quarante rappelle utilement que « local » n'est pas binaire, c'est un budget qu'on fixe.

Articles associés