Ai2がオープンソース化したのは訓練スタックであって、また別の重みセットではない

アレン人工知能研究所（Allen Institute for AI）は、兆パラメータ規模の混合専門家（MoE）モデル向けのオープンな訓練基盤であるOlmo-core 3をリリースした。注目のベンチマークは、470億パラメータのMoEが8基のB300 GPU上で以前の構成の約2.7倍のスループットに達したというものだ。この数字は立派だ。だが、このリリースが重要な理由はそこではない。

重みは配布するのは簡単だが、そこから学ぶのは難しい。重みセットをダウンロードすればモデルを動かせる。しかし、実質的に訓練パイプラインをゼロから再構築しなければ、それを再現することも、監査することも、自分のデータで再訓練することもできない。Olmo-core 3はそのパイプラインのリリースなのだ。

繰り返し出てくる区別

オープンな重みとオープンな訓練は別の製品であり、両者の隔たりこそが、有用な情報の大半が存在する場所である。

リリースされたモデルは、チームが何を達成したかを教えてくれる。訓練スタックは、どのように達成したかを教えてくれる。自分でやろうとするなら、必要なのは後者だ。後者は、リリース元の組織の外にいる誰にとってもはるかに有用であり、はるかに希少である。なぜなら、訓練コード、データパイプライン、構成の詳細こそ、正しく仕上げるのに最も時間がかかった部分だからだ。

混合専門家（MoE）は、この重要性を減らすどころか高める。MoEモデルは各トークンを専門家の一部にルーティングするため、総パラメータ数が数兆に達するモデルでも、トークンごとに活性化するのはごく一部かもしれない。この設計は推論コストを削減するが、ルーティングの決定、専門家間の負荷分散、デバイス間の通信パターンといった、調整が本当に厄介な要素を持ち込む。同じモデルアーキテクチャを持つ2つのチームでも、訓練ループでの選択によってスループットは大きく異なりうる。

訓練基盤をリリースするということは、それらの選択が可視化されるということだ。だからこそ2.7倍というスループットの数字が意味を持つ。それが、他の誰かが実行して検証できるコードに紐づいているからだ。

なぜMoEの訓練が難しい部分なのか

密な（Dense）モデルは予測可能にスケールする。パラメータを増やし、計算を増やせば、滑らかな曲線が得られる。MoEモデルはスケジューリング問題を持ち込む。ルーターがほとんどのトークンを少数の専門家に送ると、それらの専門家がボトルネックになり、残りのハードウェアは遊んでしまう。逆にトークンを均等に広げすぎると、モデルはアーキテクチャを魅力的にしていた専門分化を失う。

これを正しく行うには、容量係数（capacity factors）、補助損失（auxiliary losses）、通信オーバーレイが必要で、ほとんどの研究所はこれらを専有情報として扱っている。また、ハードウェア障害に耐えるチェックポイント機構も必要だ。この規模の訓練実行では障害が発生するものであり、最初からやり直すという選択肢はないからだ。

Ai2が8基のB300 GPUで報告したスループット向上は小規模な結果であり、そう読むべきだ。訓練ループが1ノードで効率的であることを示すのは、ノード間通信が支配的になる数百ノードでもそれが保たれることを示すのとは違う。しかし、これは正しい最初の結果だ。効率の問題は通常、小規模で最初に現れ、スケールするにつれて悪化するからだ。

なぜ8基のGPUでのスループットが正しい最初の数字なのか

小規模でのスループット結果は、兆パラメータという枠組みの隣では控えめに見えるが、擁護する価値がある。訓練効率の問題は早い段階で現れ、悪化する傾向がある。訓練ループが単一ノードで計算の3分の1を無駄にしているなら、ノード間通信が加わると同じループはさらに多くのものを無駄にする。非効率は調整の層が増えるごとに複合するからだ。

小規模な数字を先に公表することは、大規模クラスタについて主張する前に、基本が健全であると述べる方法だ。また、始めるのに適切な場所でもある。小規模より先に大規模な数字を報告するチームは、通常、持続的な速度ではなくピークを報告している。

この数字が重要な第二の理由がある。MoEのスループットは、密なモデルとは異なる形でバッチサイズとシーケンス長に敏感であり、8基のGPUで効率を最大化する構成は、調整を加えればより大きなクラスタにもしばしば一般化する。2.7倍の改善は、チューニングの細部ではなく構造的な変化を反映していると言えるほど大きく、それゆえ注目に値する。

これを必要とする層は、重みを求める層より小さい

オープンモデルについて語るほとんどの人は重みを求めている。推論を実行したい、特定の領域でファインチューニングしたい、あるいは製品を作りたいのだ。そのグループは、あらゆるオープン重みのリリースによって満たされている。

訓練スタックを必要とするグループはずっと小さい。研究機関、国家的な計算プログラム、クラスタにアクセスできる大学、そしてモデルがどのように作られたかを文書化しなければならない規制産業の企業だ。そうしたユーザーはこれまで十分にサービスされてこなかった。選択肢は、パイプラインをゼロから構築するか、特定ベンダーのハードウェアでしか動かないものを使うか、だったからだ。

オープンな訓練スタックは、二番目の選択肢を変える。研究所には変更可能な出発点を与え、政府プログラムには、外国ベンダーが実装の詳細を共有する気があるかどうかに依存しない、主権モデルへの道を与える。

これは戦略的なリリースであり、Ai2はそれについて一貫している。同研究所のモデルは、データ、コード、訓練ログとともに公開されてきた。これは重みと論文をリリースするより厳しい基準だ。

オープン訓練をめぐる静かな議論

オープンモデルコミュニティの内部には、オープン性が何を意味すべきかについての議論があり、このようなリリースはそれを前進させる。

一方の立場は、人々が使うのは重みなのだから、重みこそが重要だと主張する。その見方では、モデルを公開することは贈り物であり、訓練の詳細は企業の私的な事業である。もう一方の立場は、訓練スタックのないモデルは、元のチームの外の誰も監査も再現も改善もできず、そのようなリリースをオープンと呼ぶのは提供されるものを過大評価していると主張する。

第二の立場が支持を広げているのは実用的な理由からだ。複数の管轄区域の規制当局が、モデル開発者に訓練データとその来歴を文書化するよう求め始めている。公開されたパイプラインで訓練したチームは、それらの質問に答えられる。借用した重みをファインチューニングしただけのチームは、重みに何が入っているかを知らないため、答えられない。

研究機関にとって、計算は単純だ。スタックをリリースするのはエンジニアリング時間を要するが、商業的には何も手放さない。研究所はAPI呼び出しを販売していないからだ。商業研究所にとって、同じことをすれば競合に先手を譲ることになる。この非対称性こそ、オープンな訓練スタックが企業よりも研究所や大学からはるかに頻繁に生まれる理由であり、現れるたびに検討に値する理由である。

注目すべき点

スループットの結果が規模を拡大しても保たれるかどうか。興味深いテストは8基のGPUではなく数百基であり、そこでOlmo-core 3がエンコードする通信パターンが機能するか否かが問われる。

外部の研究所が実際に採用するかどうか。訓練スタックは、他の誰かがそれを使ってモデルを訓練し、結果を公表したときに広まる。最初の信頼できる再現は、どんなベンチマーク表よりも情報量が多いだろう。

オープンな訓練が調達を変えるかどうか。モデルの来歴を文書化する必要がある組織は、これまで選択肢が限られていた。完全な訓練パイプラインが寛容なライセンスで利用可能であれば、そうした組織の一部は、クローズドな代替品にお金を払うのではなく、それを基盤に構築するだろう。

重みのリリースが注目を集めるのは、誰でもダウンロードして試せるからだ。訓練のリリースこそ、この分野の実際の知識が移転される場所であり、はるかに頻度が低い。今回のリリースは注意深く読む価値がある。モデルの移転可能な部分は、その背後にあるプロセスだからだ。