Un bit suffit : pourquoi le BitNet de Microsoft séduit toujours

Le nombre qui ne devrait pas fonctionner

Tout grand modèle de langage est, au fond, un très grand nombre de multiplications. Des milliards de paramètres, chacun un décimal à plusieurs chiffres de précision, chacun multiplié par une valeur correspondante pendant l'inférence. C'est dans la précision que réside le coût. Réduisez la précision et le modèle devient moins cher, plus rapide et plus petit. Réduisez-la trop et le modèle cesse de fonctionner.

Pendant des années, l'idée reçue voulait qu'il existe un plancher. On pouvait compresser les poids sur huit bits, voire quatre avec précaution. En dessous, l'arithmétique s'effondrait et la sortie devenait un charabia. Puis une ligne de recherche a repoussé ce plancher jusqu'à un seul bit, et une chose assez surprenante s'est produite : les modèles ont continué de fonctionner.

BitNet de Microsoft, un framework d'inférence officiel pour les modèles à un bit, est de nouveau remonté dans les classements hebdomadaires de tendances de GitHub ce mois-ci. C'est le bon moment pour comprendre pourquoi un modèle fait de poids à un bit n'est pas un gadget, et ce qu'il apporte réellement.

Ce que signifie vraiment un poids à un bit

Le nom est un peu trompeur, et la question de la précision mérite d'être posée correctement. Un poids entièrement à un bit serait une simple valeur binaire. L'approche qui a le mieux réussi utilise trois valeurs : moins un, zéro et plus un. On parle souvent de schéma ternaire, ou de schéma 1,58 bit, et ce 1,58 n'est que le coût, au sens de la théorie de l'information, du fait de pouvoir choisir parmi trois options plutôt que deux.

Cette restriction semble brutale. Elle signifie que chaque poids du réseau est contraint à l'un de trois états. Ce qui la rend viable, c'est qu'un réseau de neurones entraîné avec cette contrainte dès le départ apprend à vivre avec elle. Les poids qui comptent sont poussés vers les extrêmes, les autres vers zéro. Le modèle ne perd pas grand-chose, car la plupart des poids ne portaient de toute façon pas beaucoup d'information.

Le gain, c'est une arithmétique qui change de nature. Un modèle classique multiplie deux nombres à plusieurs chiffres pour chaque paramètre. Un modèle ternaire décide surtout s'il faut ajouter une valeur, la soustraire ou l'ignorer complètement. Dans le silicium, l'addition est nettement moins coûteuse que la multiplication, en temps comme en énergie, et supprimer le besoin de larges multiplicateurs élimine une grande partie de ce qui rend une puce chère.

Y parvenir suppose de changer la façon dont le modèle est construit, et pas seulement dont il est stocké. On ne peut pas prendre un modèle fini, entraîné en pleine précision, et arrondir simplement chaque poids à moins un, zéro ou un : la précision s'effondre. La contrainte doit être présente pendant l'entraînement, pour que le réseau apprenne à faire passer sa capacité par les trois valeurs qu'il est autorisé à conserver. C'est pourquoi cette approche dépend entièrement de la recette d'entraînement, et pourquoi il est difficile de reproduire les résultats à partir d'un simple checkpoint.

Pourquoi il tourne sur un CPU

La conséquence pratique la plus frappante est l'endroit où ces modèles peuvent tourner. Parce que l'arithmétique est si légère, les modèles à un bit n'ont pas besoin de la machinerie spécialisée d'un accélérateur de centre de données pour être utilisables. Ils tournent sur des CPU ordinaires, à des vitesses qui les rendent crédibles pour de vraies applications plutôt que pour de simples démonstrations.

C'est plus important qu'il n'y paraît. Le récit par défaut de l'IA moderne est une histoire de GPU : qui en a, combien, et à quel prix. Chaque modèle qui tourne bien sans GPU élargit le cercle de ceux qui peuvent participer. Si un modèle à un bit d'une capacité raisonnable peut tourner sur un ordinateur portable, alors la barrière à l'usage d'un modèle de langage local capable cesse d'être le matériel et devient la patience.

L'énergie est l'autre moitié de l'argument. Les centres de données qui font tourner de grands modèles consomment de l'électricité à une échelle devenue une véritable contrainte, tant économique que politique. Un modèle qui a besoin d'une fraction du calcul pour la même tâche n'est pas une petite optimisation sur ce budget. C'est la différence entre une charge de travail réalisable sur un site et non réalisable.

Le bémol qui le garde honnête

Si les modèles à un bit étaient strictement meilleurs, tout le monde les utiliserait et le framework n'aurait pas besoin d'être en tendance. La réalité est plus nuancée. Un modèle ternaire n'est pas un remplacement direct d'un modèle en pleine précision. La procédure d'entraînement est différente, l'outillage plus jeune, et l'écosystème de fine-tunes et d'adaptateurs plus restreint, parce que moins de gens ont construit dessus.

Il y a aussi une question de qualité que les chiffres mis en avant peuvent masquer. Un modèle à un bit d'un nombre de paramètres donné n'est pas automatiquement aussi capable qu'un modèle en pleine précision de même taille. L'intérêt de l'approche, c'est qu'on peut se permettre un modèle à un bit bien plus grand sur la même machine, et que ce modèle plus grand peut égaler ou dépasser un modèle de haute précision plus petit. La comparaison qui compte n'est pas précision contre précision. C'est la capacité par unité de matériel, et là, l'échange est souvent payant.

Le cadrage honnête est qu'il s'agit d'une autre branche de l'arbre de conception, et non d'une feuille strictement supérieure. Il échange un peu de souplesse et beaucoup de maturité d'écosystème contre une forte réduction du coût de calcul. Le côté de cet échange que vous voulez dépend entièrement de si votre goulot d'étranglement est la capacité ou le coût.

Il y a aussi une différence subtile dans la façon dont les deux types de modèles échouent. Un modèle en pleine précision à qui l'on pose une question au-delà de ses capacités tend à donner une réponse plausible mais fausse. Un modèle ternaire bien entraîné et de plus grande taille n'est pas manifestement pire sur ce point : les échecs se ressemblent. Ce qui diffère, c'est la forme de l'échange que vous faites. Vous acceptez un modèle plus grand et plus encombrant qui tourne à bas coût, en échange d'un modèle plus petit et plus fluide qui tourne cher. Ni l'un ni l'autre n'est gratuit, et prétendre le contraire est le meilleur moyen d'être déçu par les résultats.

Pourquoi cela compte au-delà des benchmarks

Ce qui est intéressant dans la ligne de travail sur un bit, ce n'est pas qu'elle gagne sur une tâche précise. C'est qu'elle remet en question une hypothèse sur laquelle tout le domaine repose : que l'utilité croît avec la précision, et la précision avec le matériel. Si la capacité peut être préservée pendant que la précision s'effondre, alors beaucoup de ce que nous supposons sur qui peut faire tourner l'IA et où commence à s'assouplir.

Cela a des conséquences pour les types de modèles évoqués ailleurs ce mois-ci. La génération d'images et de vidéos est le type de charge de travail le plus gourmand en calcul côté grand public, et c'est précisément là que les techniques ternaires sont les plus difficiles à appliquer, car leurs architectures diffèrent des modèles de langage pour lesquels ces frameworks ont été conçus. Mais la direction est claire. La pression pour faire tourner des modèles capables sur du matériel abordable ne va pas disparaître, et chaque technique qui soulage cette pression trouve son public.

Le jeu long

BitNet ne remplacera pas les modèles de pointe. Rien dans cette approche ne le suggère, et le domaine n'attend pas qu'il le fasse. Ce qu'il fait, c'est maintenir une porte ouverte. Il dit qu'un modèle n'a pas besoin d'être un produit de luxe, que capacité et coût ne sont pas le même axe, et qu'une part étonnante de ce qui rend un modèle de langage utile survit au fait d'être comprimé à trois valeurs par poids.

Pour la plupart des gens, l'effet pratique est invisible aujourd'hui. Pour le nombre croissant de ceux qui veulent un modèle capable sur du matériel qu'ils possèdent déjà, et pour les exploitants qui fixent une facture d'énergie, c'est le genre de travail qui change ce qui est possible sans se faire remarquer. La recherche la plus importante en IA n'est pas toujours le modèle qui culmine dans un classement. C'est parfois celui qui rend le classement sans importance.