Naive AIとポストトレーニングへの14億ドルの賭け

清華大学の教授が創業した新たな研究スタートアップが、14億ドルの評価額に達したと報じられている。そして、その企業が売り物にしているのは新しい基盤モデルではない。Naive AIは既存のモデルの上に構築する。その賭けは、パイプラインのより安価な半分、つまり事前学習の後に来る部分こそ、次のラウンドの成果が勝ち取られる場所だというものだ。

この報道は10月10日に公開されたDealroomによるもので、Naive AIを、モデルをゼロから訓練するのではなく、ミッドトレーニングと高度なポストトレーニングに焦点を置く若いラボとして説明している。そのフラッグシップであるNaive-N0.5-FlashはMITライセンスの下で提供され、これはオープンソースライセンスの中でも最も寛容な部類に入る。「すでにあるものを改善する」ことだけをテーゼとする企業に付いた14億ドルという数字こそが興味深いのであって、モデルそのものではない。

なぜポストトレーニングがより安価なテコになるのか

事前学習は資本の問題だ。数千台のアクセラレータ、数兆トークン単位で測られるデータパイプライン、そして何カ月も損失曲線を眺める忍耐が必要になる。Mistralは新しいフラッグシップを、約2カ月にわたっておよそ4,000台のNvidia Grace Blackwell GPUで訓練した。そのような実行は一握りの企業にしか可能ではない。良いアイデアを持つ研究グループが使えるものではない。

ポストトレーニングは別の予算だ。これはベースモデルを有用なものに変える作業を対象にする。挙動を形成するミッドトレーニング、指示チューニング、フィードバックからの強化学習、そしてそれらのどれが役立ったかを教えてくれる評価ループだ。限られた計算資源しか持たない小さなチームでも、オープンウェイトのベースの上でこの作業を行い、それでも人々が動かしたくなるモデルを生み出せる。それがNaive AIが狙う突破口であり、投資家がそれに金を払う理由だ。

このピッチには再帰的自己改善も含まれている。これは懐疑的に見るべき言葉だ。控えめな形では、モデルを使って次のバージョンのための訓練データと報酬シグナルを生成し、それを繰り返すという意味になる。大げさな形では、人間の入力なしに自らを改善するシステムという夢だ。報道が描写しているのは控えめな方である。ここには、週末のうちに超知能へとブートストラップする機械を示唆するものは何もなく、読者はそうした枠組みをマーケティングとして扱うべきだ。

ポストトレーニングが注目を集める2つ目の理由は、事前学習とは違って測定可能な点だ。ベースモデルを改善したときは、同じベンチマークで実行して差分を見られる。ゼロから訓練した場合は、モデル全体が一度に変わってしまうため、比較はより曖昧になる。ポストトレーニングに焦点を置くチームは、自分たちが何を加えたかについて、引き締まった再現可能な主張ができ、それはまさに投資家とエンジニアの両方を納得させる種類の主張だ。

また、ラボが戦う場所を選べるようにもする。ポストトレーニングの手法はそれぞれ異なる挙動を狙う。より良い指示追従、より強力な推論、より安全な拒否、より厳密なツール使用などだ。小さなチームはそのうち1つか2つを選び、そこを競争軸にできる。あらゆる場所で勝とうとする代わりに、だ。この集中は、人々が実際に採用するニッチモデルと、誰も乗り換えない汎用モデルの違いになることが多い。

これはすでに見えているパターンに当てはまる

Naive AIだけが、後段の工程が生の規模に勝るという賭けをしているわけではない。過去2カ月の間に、一連のオープンウェイト公開が、さまざまな形で同じ点を示してきた。いくつかのラボは、新しいアーキテクチャを発明するのではなく既存のアーキテクチャを改善することで競争力のあるモデルを出荷しており、その見出しの主張はたいてい同じだ。訓練コストの何分の一かで同等の結果。

市場データはその圧力を裏付けている。10月初旬のBenchLMの分析は、オープンウェイトモデルとプロプライエタリモデルの間で、選択された推論ベンチマーク上の差が縮まっていることを述べ、同時にプレミアムなプロプライエタリAPIコストが40%下落したと報じている。同分析によれば、オープンウェイトのデプロイは100万トークンあたり0.50ドル未満の料金で高ボリュームのワークロードを処理している。これらの数字には文脈が必要だ。API価格はモデル、ワークロード、サービス階層、日付によって変動するし、ベンチマークスコアは実世界での信頼性を証明しないからだ。しかし方向性は明白だ。能力の価格は下がっており、その下落は大規模な事前学習と同じくらい、より良いポストトレーニングによって促されている。

ポストトレーニング戦略のリスクは、他人のベースモデルに依存することだ。土台にしているオープンウェイトのベースがライセンスを変更したり、制御できない形で変化するバージョンを出したりすれば、あなたのプロダクトは危険にさらされる。これは現実の制約であり、この道を取るラボが自らの手法をオープンに公開する傾向がある理由でもある。単一のラボが去っても、コミュニティがその仕事を存続させられるようにするためだ。

評価額が本当に値付けしているもの

若いスタートアップに対する14億ドルの評価額は、モデル開発の未来についての表明であり、明確な前提を伴っている。つまり、優位性はどれだけ計算資源を買えるかから、すでに持っているものをどれだけうまく訓練し評価できるかへ移りつつあるという前提だ。もしそれが成り立つなら、資本は唯一の堀ではなくなり、強力な手法を持つ小さなチームにも席が与えられる。

もし前提が間違っていれば、話は逆転する。他人のベースモデルに対するポストトレーニング作業は、手法が公開されれば簡単にコピーされる。そしてたいてい公開される。その作業だけの上に成り立つラボには、守るべきプロプライエタリなベースがない。競合すべてがそのレシピを再現できるなら、優位性は消え去る。この評価額は、手法とデータにおける持続的な優位を前提にしているが、手法だけが長く秘密であり続けることはまれだ。それが見出しの数字の下にある静かなリスクである。

正直な但し書きとして、これらはまだ何も検証されていない。評価額は報じられたもので、確認されたものではない。モデルが主張する性能には、誰かがそれを前提に製品を計画する前に、独立したベンチマークと再現可能なコスト測定が必要だ。パターンは心強いが、パターンは証明ではない。

この話を追う価値があるのは、金のためではない。教授のラボが、一握りの人数と限られた予算で、政府がインフラに使うように計算資源に費やす企業の隣に立てると考えていることだ。しかも、最初の一マイルではなく最後の一マイルで賢くなることによって。それは検証可能な主張だ。今後数カ月のオープンウェイト公開が、それが成り立つかどうかを示すだろう。

より広範な移行が続くなら、それは誰が構築できるかに関わる。能力あるモデルを作る上で高価な部分が、ポストトレーニングを通じて借りられるものになるなら、有用なものを生み出せるチームの数は増える。それは最大手のラボが負けるという意味ではない。分野が広がるという意味であり、広がった分野はより多様性を生み、より多くのニッチツールと、価格をめぐるより多くの競争を生む傾向がある。Naive AIが正しい賭けかどうかは別として、同社はAIを構築するための入場券が今日見えるよりも小さい未来に賭けている。