NVIDIA、GPUクラスタをテナント分割する「NVKE」をオープンソース化

GPU基盤の面倒くさい部分は、カードを手に入れた後にやってくる。その一部をチームに渡し、しかもマシン全体は渡さない、という配り方だ。
dsx-ai-factory/nvkeが狙うのはそこである。名前はそのまま、NVIDIA Kubernetes Engine。NVIDIAがApache 2.0でオープンソース化し、Go 1.27.3で書かれ、現在はプレビュー段階にある。今週は1日あたり約345スターを獲得した。総スター809のインフラ系リポジトリとしては、つまり大半の読者がここ数日で見つけたということだ。
NVIDIA自身の言葉で言うと、これは何か
READMEは定義に慎重で、その慎重さは再現する価値がある。混乱をかなり防げるからだ。
NVIDIAはNVKEがKubernetesディストリビューションでもCluster APIのフレーバーでもないと明言している。プロジェクトは自らをKubernetesクラスタのセルフホスティング工場と呼ぶ。使い捨てのシードクラスタが管理クラスタを立ち上げる。その管理クラスタ上の管理プレーンが、多数の分離されたワークロードクラスタをオンデマンドでプロビジョニングし、ライフサイクル管理する。
したがってインストールには2種類のクラスタがある。管理クラスタはNVKEの管理プレーンとインフラコントローラを動かす。ワークロードクラスタは顧客のアプリケーションを動かし、それぞれに独自のコントロールプレーン、独自のetcd、独自のノードプールを持つ。運用するのは管理プレーンだ。顧客はKubernetes APIとkubectlで自分のクラスタを使い、向こうから見ればマネージドサービスのように見える。
ネオクラウドのプラットフォームチーム、研究ラボ、自前のGPUラックを持つ企業が、結局は手作業で作ることになる形がこれだ。退屈な中間部分を誰かが持たなければならない。マシンのプロビジョニング、ノードの参加、故障ハードウェアの交換、Kubernetesバージョンのアップグレード、それをテナントごとに混線なく。NVKEはその中間を製品として包んだものだ。
興味深いのは識別の部分
ここにあるコンポーネントの大半は予想どおりのものだ。私が驚いたのはノードの識別だった。
ノードは参加資格を受け取る前に、TPMを使ってSPIFFE/SPIREで認証する。参加を要求しているマシンが、自分がプロビジョニングしたマシンなのか、エンドポイントを見つけた何か別のものなのか、クラスタはどうやって知るのか。答えはこれで、正しい答えだ。認証はハードウェアに対して行われ、誰かがConfigMapからコピーしたトークンに対してではない。
etcdのデータ暗号化はクラスタごとに利用できる。マルチテナント構成では機能ではなく前提条件だ。
マシンはNVIDIA Infra Controller、通称NICoから供給される。プレビュー時点で唯一の互換インフラプロバイダだ。これは実際の制約である。ハードウェアが別の何かで管理されているなら、まだプラグインできない。
GPUなしで試す
リポジトリで最も親切なのはローカルクイックスタートだ。シミュレートされたマシン上で開発用の管理プレーンとワークロードクラスタを動かす。NVIDIAアカウントは不要。要件はLinuxホストまたはVM、amd64かarm64、CPU 6以上、空きメモリ12 GiB以上、空きディスク100 GiB以上、Docker、仮想TPMサポート。macOSではColimaのVMを使う。
この演習の目的は狭くて実用的だ。ワークロードクラスタに到達し、そのノードがReadyと報告することを確認する。それが通れば、シリコンに触れずにループ全体を見たことになる。
ソースからビルドするのがもう一つの道で、拍子抜けするほど退屈だ。
git clone https://github.com/dsx-ai-factory/nvke.git
cd nvke
make build
bin/に9つのバイナリができる。agent、updater、controller、nvkectl、capd-reboot-controller、nvke-os-image-check、management-engine、tenant-api、operator-api。ビルドは管理プレーンを起動せず、クラスタも作らない。当たり前に聞こえるが、まさにそれをやるmakeターゲットを走らせた後では話が変わる。
実際のインストールでは、マシン、ネットワーク、ノードイメージ、レジストリを自分で用意し、NICoへのアクセスを設定する。companionリポジトリのnvkr(NVIDIA Kubernetes Recipes)が固定された入力からノードイメージとNVKEコンポーネントをビルドし、ビルドとリリースの証跡を持つ。「何を作るか」と「何を配備するか」を分けるのは正しい継ぎ目で、成果物がコントロールプレーンとは別に来歴を持つことになる。
制限のセクションは告白のように読める
ここでNVKEは信頼を少し稼ぐ。
プレビューには明示的な警告が付く。Wikiに埋めず、READMEに書いてある。API認証はオフで、インストール後のAPIは平文HTTPだ。呼び出し元を受け入れる前に、認証と保護されたアクセスを設定することが前提になっている。管理クラスタは自身をアップグレードもスケールも交換もしない。管理プレーンのアップグレード手順も、バックアップと復元の手順もない。FDEノードイメージは評価専用で、保存データの機密性は提供しない。
このリストは普通ではない。ほとんどのプレビュー告知は「本番利用不可」と書いて終わる。NVIDIAは具体的にどこで痛い目に遭うかを列挙した。おかげで自分の評価が安全かどうかを判断できる。
配備を計画している人へ。平文HTTPと認証なしの組み合わせは、管理プレーンを自分が制御するネットワーク境界の内側に置かなければならないという意味だ。それで終わり。「後で固くする」話ではなく、「ここにルーティングするな」という話である。
誰のためのものか
大きく3つのグループ。
1つ目はGPUクラウドを運営している人たち。自前のハードウェアでKubernetesクラスタを売っているなら、コントロールプレーンの自前開発か購入かの計算は悲惨だ。顧客が金を払うものではなく、午前3時に呼び出しを鳴らすものだからだ。テナント向けにkubectlの形をした表面を持つApache 2.0の管理プレーンは、プレビュー品質でも魅力的だ。コードが読めるからだ。
2つ目は中央プラットフォームチームと内部顧客を持つ大企業。「運用者がプレーンを回し、顧客がクラスタを受け取る」モデルは、銀行や製造業が実際にGPU容量を配分する方法にそのまま重なる。チケットとクォータと分離された名前空間であって、RBACに期待する共有クラスタではない。
3つ目は研究機関。クラスタごとのetcdとTPM認証を伴うマルチテナント分離は、4つのラボが1台のDGXラックを共有し、そのうち1つが他に見えてはいけないことをしている、という大学のニーズに近い。
向いていないのは、GPU 8枚の単一チームだ。モデルよりコントロールプレーンに時間を使うことになる。
戦略的な読み方
NVIDIAのソフトウェア戦略はしばらく一貫している。ハードウェアを消費しやすくし、オーケストレーション層は無料にする。CUDA、NCCL、Triton、NIM、そして今はKubernetes管理プレーン。どれも利益率の出る場所ではない。すべてがシリコンを使いやすくし、そこが利益率の出る場所だ。
競争の角度もある。GPU向けのマネージドKubernetesは、これまで主にハイパースケーラーが語るものだった。コントロールプレーンのサービスとハードウェアの両方を持っているからだ。NVKEは同じ形をラックを持つ誰にでも与え、しかもワークロードをAWSに送る必要がない。ソブリンクラウドや規制産業の買い手にとって、これまでオープンソースで存在しなかった現実的な選択肢だ。
反論は保守だ。コントロールプレーンは、スケジュールどおりにアップグレードし、金曜日にパッチを当て、etcdのスナップショットが壊れたら作り直すサービスである。lockfileでバージョンを上げるライブラリではない。プレビューに管理プレーンのアップグレード経路がないのはドキュメントの穴ではなく、問題の最も難しい部分であり、NVIDIAはまだ公の場で解いていない。
だからこれは製品ではなくアーキテクチャのプレビューとして扱うべきだ。コードを読み、ローカルクイックスタートを走らせ、管理クラスタ自体が移動を必要とするときにシードクラスタのブートストラップモデルが耐えるかどうか、意見を形成する。モデルカタログではなく、その問いがGPU向けKubernetesコントロールプレーンが本当にコモディティソフトウェアになるかを決める。
Apache 2.0なら、答えがノーでもフォークできる。それがこのリリースの実際の価値だ。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。