27Bモデルを重みあたり2ビットに圧縮

27Bモデルを重みあたり2ビットに圧縮

10月9日、Underdog AIはSaluki 27Bを公開した。Qwen 3.8 27Bモデルを圧縮したビルドだ。圧縮はかなり攻めている。重みあたり2ビットで、全体をおよそ7.89ギガバイトのファイルに収めている。Underdogによれば、元モデルのベンチマーク性能の約96パーセントを維持し、ツール呼び出しのタスクではフルサイズのモデルを実際に上回るという。ライセンスはApache 2.0で、ローカルのエージェントワークフロー向けに配布されている。

この数字は誤植に見える。モデルのビット深度を4分の1に削ると、通常は品質を大きく犠牲にする。Salukiの主張は、そうではなかったというものだ。しかも、エージェントにとって最も重要なあのタスクでは、むしろ良くなったという。

2ビットの量子化が難しい理由

モデルの重みは数値として保存され、重みあたりのビット数が、それぞれがどれだけの精度を保てるかを決める。16ビットなら、ひとつの重みは数万通りの値を取れる。2ビットなら、取れるのは4通りだけだ。細かな違いの上に成り立つネットワークに、ほとんど何もない語彙で自分を表現しろと言っているようなものだ。

たいてい失敗するのは、誤差が積み重なるからだ。各重みを少し丸めれば、その層は少しずれる。少しずれた層を何十も積めば、出力は元から大きく外れる。多くの量子化の取り組みは4ビットを実用的な下限とみなし、それより下ではある程度の品質低下を受け入れる。

さらに低いビットに踏み込む手法は、ただ乱暴に丸めるわけではない。どの重みは粗くてもよく、どの重みは鋭く保たねばならないかを見極め、事後に圧縮モデルを微調整して損傷を修復することも多い。2ビットを成立させるのは、雑な作業ではなく、丁寧で狙いを定めたプロセスだ。

ツール呼び出しの結果こそが面白い部分

Salukiが一般的なベンチマークで元モデルに並ぶのは注目に値する。ツール呼び出しで元モデルを上回るのはさらに奇妙で、そこには実のある何かがある。ツール呼び出しは構造化されたタスクだ。モデルは正しい関数名と引数を出力しなければならず、少しの不整合が全体を壊す。わずかにノイズの多いモデルは、わずかに多様な出力を生みうる。この設定では、それがエッジケースでのつまずきを減らすことを意味するかもしれない。

もっと単純な説明もある。圧縮の過程にツール利用データでの微調整が含まれていれば、出来上がったモデルは単に小さいだけでなく、正しい方向に的を絞っている。専門家は自分の専門分野では汎用モデルに勝てるが、それ以外では負ける。正直に読めば、Salukiは圧縮され、同時にエージェント作業へと舵を切られたモデルであり、その二つの変化が合わさって結果を説明する。

ここで重要な指標は知能密度だ

Underdogはこの改善を、ギガバイトあたりの知能の向上、およそ元の7.5倍というふうに位置づける。この枠組みはローカルエージェントの場合にまさに当てはまる。自分のマシンでモデルを動かすとき、制約はベンチマークのスコアではない。モデルがメモリに収まり、周りのアプリケーションのための余地を残すかどうかだ。

27Bモデルをフル精度で動かすには本格的なハードウェアが要る。同じモデルがおよそ8ギガバイトならノートパソコンで動く。そしてノートパソコンこそ、エージェント作業の多くが実際に行われる場所だ。ファイルを読み、コマンドを実行し、結果を確認する。圧縮の価値は見た目の話ではない。ローカルで動かせる有能なモデルと、借りるしかない有能なモデルの違いなのだ。

ローカルエージェントモデルがこのサイズに収束する理由

Salukiは、より大きなシステムの内側で反復作業を担うために現れている、小型でオープンライセンスのモデルのひとつだ。パターンは一貫している。パラメータ数およそ70億から300億、徹底的に圧縮され、寛容なライセンスで、エージェントのタイトなループを狙う。

理屈は毎回同じだ。エージェントはひとつのタスクでモデルを何度も呼ぶので、呼び出しごとのコストと遅延が体験を支配する。ローカルで動くほど小さいモデルは、ネットワークの往復もトークン課金も取り除く。それによって、エージェントをどれだけ思い切って使えるかが変わる。自分のアシスタントの使用量をいちいち計らなくなる。

もうひとつ、もっと静かな理由がある。ローカルで動くモデルはデータをどこにも送らない。これは、アップロードを許されないコードや文書を扱う人にとって重要だ。そういう人たちにとって、圧縮はコスト最適化ではない。有能なモデルを手に入れる唯一の方法なのだ。

小さなファイルの価値をひとつの数字で

サイズの違いは具体的にしたほうがいい。270億パラメータのモデルは16ビットで、ランタイムのオーバーヘッドを除いてもおよそ54ギガバイトを占める。これはほとんどのノートパソコンには収まらないし、OS、ブラウザ、エディタが取り分を取った後のメモリにも収まらない。2ビットなら、同じパラメータ数がおよそ8ギガバイトに収まる。収まるだけでなく、エージェントが動かすはずのツールと一緒に収まる。

これがローカルエージェント環境での低ビット圧縮の論拠のすべてだ。これまでまったく動かなかったモデルを動かすという話ではない。それも一部ではあるが。機械が気づかないほど楽にモデルを動かし、エージェントが何度も呼べるようにするという話だ。システム全体を重くするエージェントは、誰もつけっぱなしにしないからだ。

信じる前に確かめるべきこと

圧縮モデルには、特有の懐疑が必要だ。見出しになるベンチマークが保たれていても、実務が生む長く乱雑な入力では劣化することがある。量子化の損傷は、珍しい書式、長いコンテキスト、まれな言語でまず現れることが多く、短いベンチマークはそのどれも捉えない。

2ビットが何を指すかも重要だ。重みあたりのビット深度、グループサイズ、一部の層を高い精度で保つかどうかで、この数字の意味は変わる。ある方式の2ビットと別の方式の2ビットは同じではないし、その違いはモデルカードからは明らかでない。

結局何を意味するのか

フロンティアの議論は、誰もが訓練できる最大のモデルの話だ。それと同じくらい重要な並行する議論は、自分のハードウェアでまだ役に立つ最小のモデルの話だ。Saluki 27Bは後者の議論に属し、具体的で検証可能な主張を提示する。2ビットは、エージェントが実際に行う作業には十分だ、と。

その主張がベンチマークの外でも成り立つなら、個人がローカルで動かせる下限が下がる。そして低い下限こそ、たいてい次の製品の波が生まれる場所だ。物語はモデルではない。モデルが小さくなることだ。

これがまだ若い領域だということも覚えておきたい。2ビットの重みを成立させる手法は今も書かれ続けており、リリースのたびに、製品であると同時に圧縮技術の実演でもある。Salukiが面白いのは、今日の姿よりも、細い管を通せる今の限界を証明した点だ。この系列の次のモデルは、より小さく、より鋭く、あるいはその両方になり、下限はまた下がる。