Ai2 met en open source la pile d'entraînement, pas un autre ensemble de poids

L'Allen Institute for AI a publié Olmo-core 3, une infrastructure d'entraînement ouverte pour les modèles à mélange d'experts à l'échelle du billion de paramètres. Le benchmark phare est un MoE de 47 milliards de paramètres atteignant environ 2,7 fois le débit de la configuration précédente sur huit GPU B300. Ce chiffre est respectable. Ce n'est pas non plus la raison pour laquelle cette publication compte.

Les poids sont faciles à distribuer, mais difficiles à étudier. Téléchargez un ensemble de poids et vous pouvez exécuter un modèle. Vous ne pouvez pas le reproduire, l'auditer ou le réentraîner sur vos propres données sans essentiellement reconstruire le pipeline d'entraînement à partir de zéro. Olmo-core 3 est une publication du pipeline.

La distinction qui revient sans cesse

Poids ouverts et entraînement ouvert sont des produits différents, et l'écart entre les deux est là où se trouve la majeure partie de l'information utile.

Un modèle publié vous dit ce qu'une équipe a accompli. Une pile d'entraînement vous dit comment, ce dont vous avez besoin si vous voulez le faire vous-même. La seconde est bien plus utile pour quiconque est à l'extérieur de l'organisation qui publie, et bien plus rare, car le code d'entraînement, le pipeline de données et les détails de configuration sont les éléments qui ont pris le plus de temps à bien régler.

Le mélange d'experts rend cela plus important, et non moins. Un modèle MoE achemine chaque token vers un sous-ensemble d'experts, de sorte qu'un modèle avec des billions de paramètres au total peut n'activer qu'une petite fraction par token. Cette conception réduit le coût d'inférence, mais elle introduit des décisions de routage, un équilibrage de charge entre experts et des schémas de communication entre appareils qui sont vraiment difficiles à régler. Deux équipes peuvent avoir des architectures de modèle identiques et des débits très différents à cause de choix dans la boucle d'entraînement.

Publier l'infrastructure d'entraînement signifie que ces choix sont visibles. C'est ce qui donne du sens à un chiffre de débit de 2,7 fois, car il est attaché à du code que quelqu'un d'autre peut exécuter et vérifier.

Pourquoi l'entraînement MoE est la partie difficile

Les modèles denses passent à l'échelle de manière prévisible. Vous ajoutez des paramètres, vous ajoutez du calcul, vous obtenez une courbe régulière. Les modèles MoE introduisent un problème d'ordonnancement. Si le routeur envoie la plupart des tokens à quelques experts, ces experts deviennent le goulot d'étranglement et le reste du matériel tourne à vide. S'il répartit les tokens de manière trop uniforme, le modèle perd la spécialisation qui rendait l'architecture attrayante.

Pour bien faire, il faut des facteurs de capacité, des pertes auxiliaires et des overlays de communication que la plupart des laboratoires considèrent comme propriétaires. Il faut aussi un mécanisme de checkpointing qui résiste aux pannes matérielles, car une exécution d'entraînement à cette échelle rencontrera des pannes et redémarrer depuis le début n'est pas une option.

Le gain de débit qu'Ai2 rapporte sur huit GPU B300 est un résultat à petite échelle, et il doit être interprété comme tel. Montrer qu'une boucle d'entraînement est efficace sur un seul nœud n'est pas la même chose que montrer qu'elle tient sur des centaines de nœuds, où la communication entre nœuds domine. Mais c'est le bon premier résultat, car les problèmes d'efficacité apparaissent généralement d'abord à petite échelle et s'aggravent à mesure que l'on monte en puissance.

Pourquoi le débit sur huit GPU est le bon premier chiffre

Un résultat de débit à petite échelle semble modeste à côté du cadrage au billion de paramètres, et il mérite une défense. Les problèmes d'efficacité d'entraînement ont tendance à apparaître tôt et à s'aggraver. Si une boucle d'entraînement gaspille un tiers de son calcul sur un seul nœud, la même boucle gaspillera davantage lorsque la communication entre nœuds s'ajoute, car l'inefficacité s'accumule à chaque couche de coordination.

Publier d'abord un chiffre à petite échelle est une façon de dire que les fondamentaux sont solides avant d'avancer des affirmations sur un grand cluster. C'est aussi le bon point de départ. Une équipe qui rapporte un chiffre à grande échelle avant un petit indique généralement un pic plutôt qu'un débit soutenu.

Il y a une deuxième raison pour laquelle ce chiffre compte. Le débit des MoE est sensible à la taille de lot et à la longueur de séquence d'une manière que les modèles denses ne sont pas, et la configuration qui maximise l'efficacité sur huit GPU se généralise souvent à des clusters plus grands avec du réglage. Une amélioration de 2,7 fois est suffisamment importante pour refléter un changement structurel plutôt qu'un détail de réglage, ce qui la rend digne d'attention.

Le public visé est plus restreint que celui des poids

La plupart des gens qui parlent de modèles ouverts veulent des poids. Ils veulent exécuter de l'inférence, faire du fine-tuning sur un domaine ou construire un produit. Ce groupe est servi par chaque publication de poids ouverts.

Le groupe qui a besoin d'une pile d'entraînement est bien plus petit : laboratoires de recherche, programmes nationaux de calcul, universités ayant accès à des clusters et entreprises de secteurs réglementés qui doivent documenter comment un modèle a été produit. Ces utilisateurs ont été mal servis, car le choix se limitait à construire un pipeline à partir de zéro ou à utiliser quelque chose qui ne fonctionne qu'avec le matériel d'un fournisseur spécifique.

Une pile d'entraînement ouverte change la seconde option. Elle donne à un laboratoire un point de départ qu'il peut modifier, et elle donne à un programme gouvernemental un chemin vers des modèles souverains qui ne dépend pas de la volonté d'un fournisseur étranger de partager les détails d'implémentation.

C'est une publication stratégique, et Ai2 a fait preuve de constance à ce sujet. Les modèles de l'institut ont été publiés avec les données, le code et les journaux d'entraînement, ce qui est une norme plus exigeante que de publier des poids et un article.

Le débat discret sur l'entraînement ouvert

Il y a un débat au sein de la communauté des modèles ouverts sur ce que devrait signifier l'ouverture, et des publications comme celle-ci le font avancer.

Une position soutient que les poids sont ce qui compte, parce que les poids sont ce que les gens utilisent. Selon cette vision, publier un modèle est un cadeau et les détails d'entraînement relèvent des affaires privées d'une entreprise. L'autre position soutient qu'un modèle sans sa pile d'entraînement ne peut pas être audité, reproduit ou amélioré par quiconque en dehors de l'équipe d'origine, et que qualifier une telle publication d'ouverte exagère ce qu'elle fournit.

La seconde position gagne du terrain pour une raison pratique. Les régulateurs de plusieurs juridictions ont commencé à demander aux développeurs de modèles de documenter les données d'entraînement et leur provenance. Une équipe qui a entraîné sur un pipeline publié peut répondre à ces questions. Une équipe qui a affiné des poids empruntés ne le peut pas, car elle ne sait pas ce qui y a été mis.

Pour un institut de recherche, le calcul est simple. Publier une pile coûte du temps d'ingénierie et n'abandonne rien sur le plan commercial, car l'institut ne vend pas d'appels API. Pour un laboratoire commercial, faire de même donnerait une longueur d'avance aux concurrents. Cette asymétrie explique pourquoi les piles d'entraînement ouvertes viennent bien plus souvent d'instituts et d'universités que d'entreprises, et pourquoi chacune de celles qui apparaissent vaut la peine d'être examinée.

Ce qu'il faut surveiller

Si le résultat de débit tient à l'échelle. Le test intéressant n'est pas huit GPU mais quelques centaines, où les schémas de communication qu'encode Olmo-core 3 fonctionnent ou non.

Si des laboratoires externes l'adoptent réellement. Une pile d'entraînement se diffuse lorsqu'une autre équipe entraîne un modèle avec elle et publie le résultat. La première reproduction crédible serait plus informative que n'importe quel tableau de benchmark.

Si l'entraînement ouvert change les achats. Les organisations qui doivent documenter la provenance de leur modèle ont eu des options limitées. Si un pipeline d'entraînement complet est disponible sous une licence permissive, certaines de ces organisations s'appuieront dessus plutôt que de payer pour une alternative fermée.

Les publications de poids attirent l'attention parce que tout le monde peut les télécharger et les essayer. Les publications d'entraînement sont là où le savoir réel du domaine se transmet, et elles sont bien plus rares. Celle-ci vaut la peine d'être lue attentivement, car la partie transférable d'un modèle est le processus qui le sous-tend.