1ビットで十分：Microsoft の BitNet が支持され続ける理由

成立するはずのない数字

あらゆる大規模言語モデルは、突き詰めれば膨大な数の乗算である。数十億のパラメータがあり、その一つひとつが何桁もの精度を持つ小数で、推論時にそれぞれ対応する値と掛け合わされる。コストは精度のところに宿る。精度を削れば、モデルは安く、速く、小さくなる。削りすぎれば、モデルは動かなくなる。

長年の通説では、そこには下限があるとされてきた。重みを8ビットまで、慎重にやれば4ビットまで圧縮できる。それ以下では演算が破綻し、出力は意味不明になる。ところが、ある研究の流れがその下限をわずか1ビットまで押し下げ、やや意外なことが起きた。モデルは動き続けたのだ。

1ビットモデル向けの公式推論フレームワークである Microsoft の BitNet は、今月も GitHub の週間トレンド上位に再び入っている。1ビットの重みでできたモデルがなぜ目新しい芸ではなく、実際に何をもたらすのかを理解するのに、ちょうどよいタイミングだ。

1ビットの重みとは実際に何か

この名称は少し誤解を招くので、精度については正しく押さえておきたい。完全な1ビットの重みとは、単一の二進値のことだ。より成功している手法は三つの値を使う。負の一、ゼロ、正の一である。これはしばしば三値（ternary）方式、あるいは1.58ビット方式と呼ばれるが、この「1.58」は、二つではなく三つの選択肢から選べることの情報理論上のコストにすぎない。

この制約は残酷に聞こえる。ネットワーク内のすべての重みが三つの状態のいずれかに押し込まれるという意味だからだ。それが機能するのは、最初からこの制約を課して学習したニューラルネットワークが、その中で生きることを学ぶからである。重要な重みは両端へ押しやられ、そうでない重みはゼロへ押しやられる。ほとんどの重みはそもそも大した情報を担っていなかったため、モデルの損失は小さい。

見返りは、性質の変わる演算だ。従来のモデルは、パラメータごとに二つの多桁数を掛け合わせる。三値モデルは、値を足すか、引くか、それとも完全に飛ばすかを主に判断している。シリコン上では加算は乗算より時間的にもエネルギー的にも劇的に安く、広い乗算器が不要になることは、チップを高価にしている要因の大きな部分を取り除く。

そこに至るには、モデルの保存方法だけでなく、作り方を変える必要がある。完全精度で学習済みのモデルを取ってきて、すべての重みを単純に負の一、ゼロ、正の一に丸めることはできない。精度は崩壊する。制約は学習中に存在していなければならず、そうしてネットワークは、保持を許された三つの値を通して自分の能力を届けることを学ぶ。だからこそこの手法は学習レシピ次第で成否が決まり、チェックポイントだけから結果を再現するのが難しいのだ。

なぜ CPU で動くのか

最も際立った実用的な帰結は、こうしたモデルがどこで動けるかにある。演算が非常に軽いため、1ビットモデルは使えるようにするのにデータセンターのアクセラレータという特殊な装置を必要としない。通常の CPU で動き、その速度は単なる興味深いデモではなく実際のアプリケーションに使える水準だ。

これは聞こえる以上に大きな話だ。現代の AI の既定の物語は GPU の物語である。誰が持っているか、何枚か、いくらか。それなしで十分に動けるモデルはどれも、参加できる人を広げるモデルだ。妥当な能力の1ビットモデルがノート PC で動くなら、有能なローカル言語モデルを使う障壁はハードウェアではなくなり、忍耐になる。

エネルギーはこの議論のもう半分だ。大規模モデルを動かすデータセンターは、経済的にも政治的にも本物の制約になりつつある規模で電力を消費する。同じタスクにごく一部の計算量しか要らないモデルは、その予算にとって小さな最適化ではない。ある仕事がその拠点で実行可能かどうかの違いである。

正直さを保たせる落とし穴

1ビットモデルが厳密に優れているなら、誰もが使うはずで、このフレームワークがトレンドになる必要もない。現実はもっと多面的だ。三値モデルは完全精度モデルの代替としてそのまま使えるものではない。学習手順は異なり、ツール群は若く、微調整やアダプタのエコシステムは、その上に構築した人が少ないため小さい。

見出しの数字が覆い隠しうる品質の疑問もある。あるパラメータ数の1ビットモデルが、同じ数の完全精度モデルと同じ能力を自動的に持つわけではない。この手法の要点は、同じマシンでずっと大きな1ビットモデルを賄えるということで、その大きなモデルはより小さな高精度モデルに匹敵するか上回りうる。重要な比較は精度対精度ではない。ハードウェア単位あたりの能力であり、そこではこの取引はしばしば元が取れる。

正直な整理をすれば、これは設計ツリーの別の枝であり、厳密に優れた葉ではない。少しの柔軟性と多くのエコシステムの成熟度を、計算コストの大幅な削減と引き換えにする。その取引のどちら側を取るかは、あなたのボトルネックが能力かコストかで完全に決まる。

二種類のモデルの失敗の仕方にも微妙な違いがある。能力を超えた問いを投げかけられた完全精度モデルは、もっともらしいが誤った答えを返しがちだ。より大きなサイズの、よく学習された三値モデルも、この点で明らかに劣るわけではなく、失敗の見え方は似ている。違うのは、あなたがする取引の形だ。安く動く、より大きく扱いにくいモデルを、高く動く、より小さく滑らかなモデルと引き換えに受け入れる。どちらもただではない。そうでないふりをすることが、結果に失望する結末につながる。

ベンチマークを超えて重要な理由

1ビットの研究の流れで面白いのは、単一のタスクで勝つことではない。領域全体が依拠してきた前提に疑問を投げかけていることだ。有用性は精度に比例して伸び、精度はハードウェアに比例して伸びる、という前提である。精度が崩壊しても能力が保たれるなら、誰がどこで AI を動かせるかについての多くの想定が、柔らかくなり始める。

これは今月別のところで論じられた種類のモデルにも影響する。画像と動画の生成は、消費者側で最も計算を食うワークロードであり、まさに三値技術を適用するのが最も難しいワークロードだ。それらのアーキテクチャが、こうしたフレームワークが想定して作られた言語モデルと異なるからである。しかし方向は明確だ。有能なモデルを手頃なハードウェアで動かしたいという圧力は消えず、その圧力を和らげるあらゆる技術は受け手を見つける。

長い勝負

BitNet がフロンティアモデルに取って代わることはない。この手法のどこにもそれを示すものはなく、業界もそれを待っていない。BitNet がするのは、扉を開けておくことだ。モデルは高級品である必要はない、能力とコストは同じ軸ではない、そして言語モデルを有用にしているもののかなりの部分が、重み一つあたり三つの値まで絞られても生き残る、と言っている。

ほとんどの人にとって、実際の影響は今日は見えない。すでに持っているハードウェアで有能なモデルを動かしたいと願う増え続ける人々や、電気代をにらむ運用者にとっては、この種の仕事は、名乗りを上げることなく何が可能かを変える。AI で最も重要な研究は、常にチャートの頂点に立つモデルとは限らない。時にそれは、チャートを無意味にするモデルなのだ。