フォトニクスでメモリの壁を破る——Volantisが賭けた8800万ドル

Volantisの売り込みは、口で言うのは簡単だが信じるのは難しい。メモリの壁を消し去る推論システムを作る、というものだ。

サンフランシスコの半導体企業であるVolantisは10月1日、Lachy GroomとAbstract Venturesが共同で主導し、John Doerr、VXI Capital、Triatomic、Susa Venturesが参加する8800万ドルのシリーズAを完了した。エンジェル投資家のリストは、推論コストをめぐる議論の著名人名鑑のようで、Dwarkesh Patel、Naveen Rao、Sholto Douglasらが名を連ねる。創業チームはNVIDIA、AMD、Broadcom、Ayar Labsから集まり、初期のCoWoS製品、大量生産型の波長可変VCSEL、初期のコパッケージド光学に関する実績を持つ。

誰もが受け入れて生きてきたトレードオフ

大規模モデルを高速に動かすには、ハードウェアがこれまで同時に提供できなかった2つのものが必要だ。重みを保持する膨大な容量と、それらを演算エンジンへ継続的に供給する膨大な帯域幅である。今日実用化されているあらゆるアーキテクチャは、どちらか一方を選んでいる。

オンチップSRAMは容量なしの帯域幅をもたらすため、モデルサイズとコンテキストウィンドウを制限し、トークンあたりのコストとエネルギーを押し上げる。HBMやGPUメモリは容量をもたらすが、最大級のモデルを高速に提供するには帯域幅が足りない。3D DRAMのような新しいアプローチさえ、同じ曲線上をさらに先へ進むだけだ。

Volantisによれば、最初のシステムA-1は、容量と帯域幅を同時にほぼ2桁引き上げるよう設計されている。それが実現すれば、20兆パラメータを超えるモデルを、ユーザーあたり毎秒最大1万トークンで動かせる。ただしこれらは同社が発表した設計目標であり、独立した検証はない。ベンチマークではなく、意図表明として受け止めるべきだ。

このトレードオフがこれほど長く続いてきた理由は物理にある。帯域幅は、メモリと演算の境界をどれだけのデータが越えられるかで制限され、大規模モデルでは実際に消費されるエネルギーの大半がその境界で使われる。重みをメモリから演算ユニットへ移動させるコストは、演算そのものよりはるかに大きい。そのコストを増やさずに帯域幅を引き上げるアーキテクチャは、二重に勝利する。

フォトニクスは、より難しい問題へ向けられる

フォトニクスはすでにデータセンター内でデータを運んでいる。今日存在するものは主にチップ間接続だ。演算とメモリをつなぐのは別の問題である。はるかに短い距離を、100倍を超えるデータ量が移動することを要求するからだ。その規模では、エネルギーとコストの振る舞いが変わる。

Volantisはその環境に特化してプラットフォームを構築した。外部レーザーではなく、カスタムのマイクロVCSELを使い、既存のガリウムヒ素VCSELサプライチェーンを活用し、他の光学設計のボトルネックとなってきたインジウムリンの制約を回避する。同社によれば、その結果得られるリンクは1ビットあたり1ピコジュール未満しか消費しない。

光ファブリックは多数のメモリチップを単一の論理リソースにプールする。そのため、メモリを追加すると容量だけでなく帯域幅も増える。これが仕掛けだ。同時に、すべてが機能するかどうかを決める部分でもある。光インターコネクトをまたいでメモリをプールすることは、レイテンシとフォールトトレランスが本当に難しくなる領域だからだ。1本の遅いリンクがプール全体を滞らせかねず、1つのメモリモジュールを落とすだけの障害が、はるかに大きな影響範囲を持つようになる。

このタイミングが偶然でない理由

この売り込みが届く市場は、この1年で形を変えた。モデルが質問に答えていた頃は、推論は安価で、バーストは短かった。エージェントがより長いタスクを担い、一度に数分から数時間動くようになると、推論速度は利便性ではなくスループットの乗数になる。コーディングエージェントがタスクを30分ではなく2分で終えるのは、単に速く感じるだけではない。開発者が1日に試せるアイデアの数を変える。

この変化こそ、推論の経済性を考える投資家がこうしたラウンドに何度も現れる理由だ。エージェントのワークロードが基盤ハードウェアの速度に比例して拡大するなら、ハードウェアは背景コストではなく、企業の動作速度を決めるものになる。その世界では、メモリ帯域幅はスペック表の数字ではない。企業がどれだけ素早く動けるかを左右する費目の一行なのだ。

競合は誰か

Volantisだけが推論のボトルネックに挑んでいるわけではなく、代替手段はこの賭けをどう評価すべきかを形作る。GPUメーカーは新しいメモリタイプとパッケージングで帯域幅を押し続け、同じ曲線をさらに強く圧縮している。チップ設計企業は特定のモデル形状に合わせた専用アクセラレータを追う。フォトニクスによる刷新はそれらすべてと競合し、曲線上の点ではなく曲線そのものを動かす場合にのみ勝つ。これは高いハードルであり、まさにこのラウンドが注目に値する理由だ。真面目な投資家は、既存手法が限界に近いと信じない限り、曲線を動かすものに資金を出さない。

正直に言うべきギャップ

公正な読み方には2つの注意点が必要だ。第一に、A-1はまだ存在しない。Volantisは2027年に最初の統合推論エンジンを顧客へ納入する計画であり、資金調達ラウンドから出荷製品までの間に多くのことがうまくいかなくなる余地がある。第二に、数字は同社自身によるもので、設計目標と説明されている。第三者のベンチマークも、システムを稼働させている顧客もいない。

だからといって、この賭けが不合理なわけではない。時期が早いだけだ。半導体のタイムラインは長く、資金はエンジニアリング人材と初期展開への道に使われており、製品のマーケティングには使われていない。8800万ドルはランウェイであり、証明ではない。

メモリの壁を平易に言えば

メモリの壁とは、プロセッサが計算できる速さと、計算対象のデータを取得できる速さの間のギャップだ。現代のAIでは、算術がボトルネックになることはほとんどない。重みが届くのを待つことがボトルネックだ。その結果、より速いチップ単体では、スペック表が示唆するほど多くのものを得られない。チップは多くの時間をアイドル状態で過ごすからだ。推論ハードウェアにおける真剣な取り組みはすべて、何らかの形でこのアイドル時間への攻撃である。Volantisは演算側ではなくメモリ側から攻めている。これは競争の少ないアプローチであり、より難しいものでもある。メモリから演算への経路から帯域幅を絞り出すには、両端にあるものを調整するのではなく、経路そのものを再構築する必要があるからだ。

何がそれを証明するのか

注目すべきマイルストーンは発表ではない。それ以外では収まらないモデルを、顧客が自らのできることを変える速度で動かすことだ。A-1が出荷され、メモリ帯域幅の主張が実際のワークロードと接触しても生き残れば、メモリの壁は避けられない現実ではなくなり、ベンダーが付いた解決済みの問題になる。

それまでは、正直な要約はこうだ。Volantisは問題を理解する人々から真剣な資金を調達し、推論ハードウェアで最も困難な制約に挑み、実現すれば大きな意味を持つシステムを約束した。半導体の世界では、重要なことのほとんどはおおよそこうして始まる。そして、高くつくことの多くも、こうして終わる。