NVIDIAのKumo Tabularは、存在しなかったデータで訓練された

9月29日、NVIDIAはKumo Tabularを公開した。AIブームがほとんど無視してきた種類のデータのために作られた、オープンな基盤モデル群だ。これらのモデルの1つに、いくつかの行が埋まった表を渡すと、残りを予測する。データセットごとの訓練は不要だ。異例なのは、それが何をするかではない。何で訓練されたかだ。

Kumo Tabularは完全に人工的な表で事前訓練された。NVIDIAは構造的因果モデル——変数が互いにどう影響し合うかの数学的記述——からサンプリングしてそれらを生成した。モデルは顧客データセットを見たことがなく、後にテストされるベンチマークの表も見ていない。これは意図的な選択であり、このリリースを、モデルが作られる通常の方法から切り離すものだ。

なぜ表形式データが盲点であり続けたのか

世界のビジネスデータの大半は表の中にある。スプレッドシート、データベース、CRMのエクスポート、財務元帳、医療記録——すべて行と列だ。大規模言語モデルはテキストでは目覚ましい性能を発揮し、画像や動画でも次第に優れてきているが、表は頑固な空白であり続けてきた。言語モデルは表をテキストとして読むことはできるが、それは列同士の関係を理解することとは違う。そして表形式データの予測が実際に必要とするのは、まさにそれだ。

従来のアプローチは、データセットごとに別々のモデルを訓練することだ。それは機能するが、遅く、持ち運びもできない。新しい表ごとに、独自の訓練実行、独自のチューニング、独自の保守が必要になる。表のための基盤モデル——どんな表でも見て、ほとんど、あるいはまったく追加訓練なしに予測できるもの——は明らかな目標だったが、到達が難しいものだった。表は構造が極端に多様で、しばしば小さく、雑で、機微な情報を含むからだ。

合成データという選択

合成表で訓練することは、複数の問題を同時に解決する。第一はプライバシーだ。実際のビジネスの表はしばしば個人情報や機密情報を含み、大規模に訓練するには扱いにくく、モデルを公開するのはリスクを伴う。生成されたデータから学んだモデルは、それを完全に回避する。

第二は汚染だ。後でテストするのと同じ種類のデータで訓練すると、ベンチマークのスコアが本当の能力ではなく記憶を反映しかねない。合成表だけで訓練することで、Kumo Tabularはベンチマークのどの行も記憶していないことになる。モデルが作られた時点でそれらは存在しなかったからだ。表面上は、これにより報告された結果は大半よりもクリーンになる。

第三は汎用性だ。因果モデルからサンプリングすることで、NVIDIAは訓練データに多様な基礎的関係を与えた。変数が互いに影響し合う多くの異なるパターンを見てきたモデルは、狭い構造の断片しか見てこなかったものよりも、見たことのない表を扱える可能性が高い。この賭けが報われるかどうかが、このリリースの本当の問いだ。

結果、そしてそれが意味するもの

NVIDIAは、Kumo Tabularが表形式予測の公開ベンチマークであるTabArenaで1位になると述べている。また、清華大学のチームによる先行の表形式基盤モデルLimiX-2よりも約17倍速く予測すると報告している。速度の主張は吟味する価値がある。推論コストがしばしば、モデルが使われるかどうかを決めるからだ。少し優れているがはるかに遅いモデルは、予測が絶えず走る本番パイプラインでは正当化しにくい。

もし数字が外部テストでも持ちこたえれば、実務的な効果は表形式予測のやり方の変化だ。データセットごとに新しいモデルを訓練する代わりに、チームは1つのモデルを既製品として使い、必要なら軽くファインチューニングし、数秒で予測を得られる。これはテキストで起きたのと同じ飛躍だ。テキストでは汎用モデルがほとんどの仕事でカスタムモデルを置き換えた。そして表を、AIの他の部分が今動いているのと同じワークフローに引き入れることになる。

リスクはどこにあるか

合成データのみの訓練には実際の弱点があり、それは強みの裏返しだ。現実の表は、生成されたものが再現しない形で雑である。データは誤って入力され、列の意味は時間とともに変わり、欠損値は目の前で隠れ、変数間の関係は必ずしも因果モデルが符号化するようなきれいなものではない。もしKumo Tabularが整いすぎた世界から学んだのだとすれば、最も機能する必要がある場所——実務に存在する欠陥だらけの表——でつまずくかもしれない。

ベンチマークと実運用の間には、いつものギャップもある。TabArenaで勝つことは意味のあるシグナルであり、特定の難しい問題でよく調整された狭いモデルを上回る証明ではない。価値ある予測タスクを持つチームは、乗り換える前に、自分たちのデータでKumo Tabularを現在のアプローチと比較すべきだ。他のどんな新しいツールでもそうするように。

より静かな懸念は解釈可能性だ。データセットごとにモデルを訓練する場合、そのモデルがどう答えに至るかをよりよく知っていることが多い。汎用の基盤モデルはよりブラックボックス的で、金融、保険、医療における規制された意思決定では、精度に関係なくブラックボックスは使い物にならないことがある。そうした場面でのこのモデルの価値は、承認しなければならない人々を納得させるのに十分説明できるかどうかにかかっている。

なぜ画像・言語の企業がこれをやるのか

誰がこれを出したかに注目する価値がある。NVIDIAの評判はAIを訓練するチップに、そしてますますその周辺のソフトウェアに依っている。表形式の基盤モデルはその絵に合う。企業のAIプロジェクトのほとんどは派手なデモに到達しない。難しいのは通常、チャットボットではなくスプレッドシート上の地味な予測だからだ。その地味な部分のために強力でオープンで高速なモデルを出すことは、AIスタック全体をより有用にする方法であり、ひいてはその下で動くハードウェアへの需要を維持する。

買う側にとっても実用的な側面がある。中小企業にはデータセットごとにモデルを訓練するデータサイエンスチームがほとんどない。すぐに使える基盤モデル、どんなチームでもダウンロードして実行できるものは、予測を使うこと自体の障壁を下げる。これは言語AIを研究の珍品から既定のツールに変えたのと同じ力学だ。モデルが十分に汎用的になり、恩恵を受けるのに専門家である必要がなくなった。表はその瞬間を待っている最後の大きなカテゴリーであり、このリリースはその瞬間が近いかもしれないという主張だ。

今のところ、Kumo Tabularは、業界が何年も問うてきた問いへの具体的な答えだ。単一のモデルが、見たことのない表を扱えるのか。存在しなかったデータだけで訓練してそれができるという主張は、注目すべき進歩か、ベンチマークの産物かのどちらかであり、その違いは、人々が実際のスプレッドシートで試すこれからの数か月で明らかになる。それが重要なテストであり、それは今始まる。