実務の中で学んだオープンなコーディングモデル

実務の中で学んだオープンなコーディングモデル

JetBrains は 10 月 8 日に Mellum2.1 を公開した。コーディングエージェント向けに作られた 120 億パラメータの mixture-of-experts モデルで、Apache 2.0 のもと Hugging Face で入手できる。この事実だけなら、今月いくつかある同種のリリースの一つにすぎない。これを際立たせているのは学習のさせ方だ。

Mellum2.1 の事後学習は、実際のコーディング環境での強化学習を使っている。模擬的なベンチマークのハーネスでも、解答済み問題の静的なデータセットでもない。モデルは現役の開発者と同じようにリポジトリを探索し、ファイルを編集し、自分の変更を確認する。

なぜ学習の設計がパラメータ数より重要なのか

今日のコーディングモデルの多くは、次のコード片を予測するように学習し、その後よいパッチの例で微調整される。妥当なパイプラインであり、補完や説明ができるモデルを生む。だがビルドすら通らないリポジトリの厄介な現実には、まったく備えられていない。最初の修正がテストを壊し、二つ目の修正が別の何かを壊す、といった具合だ。

必要な技能は関数を書くことではない。ループを閉じることだ。仮説を立て、何かを変え、結果を観察し、修正する。実際の環境での強化学習は、まさにこの行動に報いる。報酬はその変更が本当に効いたかどうかから来るからだ。

これは、コーディングエージェントがそもそも役立つようになったのと同じ転換点だ。コードを書けるだけのモデルは、凝った自動補完にすぎない。テストを実行し、失敗を読み、もう一度試せるモデルは協働者になる。Mellum2.1 の学習データは、そのループそのものだ。

120 億という意図的なサイズ

120 億パラメータは、最先端と比べれば小さい。そこが要点だ。コーディングエージェントはファイルを読み、コマンドを実行し、diff を確認するという短いループで動くため、絶えず呼び出される。安く動き、すばやく応答するモデルは、一歩ごとに実際のコストがかかるモデルよりはるかに大胆に使える。

mixture-of-experts の設計も同じ考えを補強する。総容量が増えてもトークンあたりの活性化は控えめに保たれ、知識をそがずに推論を安く保てる。一つのタスクを終えるのに何十回も呼び出されうるツールにとって、この取引はまさに正しい。

10 月を通じて一つのパターンができつつある。小さく、特化し、オープンにライセンスされたモデルが、より大きなシステムの中の反復作業を担うために現れている。ここでは JetBrains、そして Liquid AI の意思決定モデル、Underdog AI の圧縮された 27B 版。最先端モデルが天井を決め、小さなモデルが床を決める。そしてトークンの大半は床で使われる。

配布戦略としてのオープンウェイト

JetBrains はベンチマークの王座を争うラボではない。売っているのは開発者ツールであり、動機はモデルを囲い込むことではなく、ツールをより良くすることだ。Mellum2.1 を Apache 2.0 で公開すれば、競合するエディタやエージェントのハーネスも含めて、モデルはエコシステム全体に広がる。

これは注目に値する。ツール企業がコーディングモデルをオープンソース化するとき、それは価値が重みではなく統合とワークフローにあるという賭けだ。今年多くのインフラ企業がしているのと同じ賭けであり、長持ちしやすい賭けでもある。誰も採用できないモデルは、標準になれないモデルだ。

Apache 2.0 は採用にとって特に重要だ。寛容なライセンスは、大企業が新しいモデルを試すのを遅らせる法務レビューを取り除く。顧客がまさにそうした企業である会社にとって、寛容なライセンスのモデルを出すことは、何かを売る前に親しみを植え付ける手段になる。

最先端のコーディングモデルとの比較

最先端のコーディングモデルは難しい問題に強い。これは議論の余地がなく、すぐに変わる見込みもない。争点は、すべてのコーディングタスクに最先端が必要かどうかだ。ほとんどは必要ない。プロジェクト全体での関数の改名、依存関係の更新、既存の挙動に対するテストの追加。これらはよくある退屈な作業で、良いハーネスを備えた小さなモデルの手に十分に届く。

Mellum2.1 は、最大のモデルが最も得意とするタスクでそれらを打ち負かそうとしているわけではない。開発者の一日を埋めるタスクで十分に良いことを目指している。それはより狭い目標であり、より長持ちする目標だ。勝てない競争に勝つことに依存しないからだ。

ツール企業がモデルをこのサイズに保つ戦略的な理由もある。ローカルで動かせるほど小さなモデルは、クエリごとの課金なしで提供でき、開発者がエージェントを気軽に使えなくする従量課金を取り除ける。ネットワーク往復なしに自前のモデルを呼び出せるエディタは、そうでないエディタとは別の製品であり、その違いはユーザーがどれだけ大胆に頼るかに表れる。

実環境での強化学習がなぜ違うのか

例で学習することと結果で学習することの違いは、もう一度触れる価値がある。今回のリリースで最も影響の大きい細部だからだ。例で学習したモデルは、良い出力がどんなものかを学ぶ。結果で学習したモデルは、どの行動が良い結果につながるかを学ぶ。これは別の、より難しい技能だ。

行動は系列である。テストを通るパッチは一つの決定ではなく、決定の連鎖だ。どこを見るか、何を変えるか、何を実行するか、失敗をどう読むか。実環境での強化学習はモデルに連鎖全体の信号を与える。局所的に筋の通った選択がどこか悪い場所へ導くことを学ぶ唯一の方法だ。キュレーションされた問題集の代わりに実際のリポジトリを使う直感はここにある。

この手法は教師あり微調整より高コストで、運用も壊れやすい。だから多くのモデルが採用していない。また、なじみのない状況でよく振る舞うエージェントを生みやすい。正しいことを模倣するだけでなく、間違った状態から立ち直ることを練習しているからだ。

注目すべき点

明白な検証は、こうして学習した 120 億パラメータのエージェントが、本物のリポジトリ作業で通用するかどうかだ。失敗したテストを診断し、パッチを提案し、結果を検証する。もし通用するなら、面白い問いはこうなる。良いハーネスと短いフィードバックループを与えたとき、小さなオープンモデルは最先端のコーディング品質にどこまで近づけるのか。

この問いは、どんな単一のモデルリリースよりも重要だ。120 億パラメータのエージェントと最先端モデルの差が実際に縮まるなら、コーディングエージェント市場の多くは、誰が最良のモデルを持つかではなく、十分に良いモデルの周りで誰が最良のツールを作るか、という話になる。Mellum2.1 はその方向の小さく具体的な一データ点であり、大事なのは方向そのものだ。