← 返回部落格
Ai預計閱讀 9 分鐘

輝達開源 GPU 叢集控制面:把一台機器切成多個租戶

發布於 2026年11月11日
輝達開源 GPU 叢集控制面:把一台機器切成多個租戶

GPU 基礎設施難受的部分,出現在拿到卡之後:怎麼把其中一片交到一個團隊手裡,讓這個團隊能用,但不至於把整台機器都給他們。

這正是 dsx-ai-factory/nvke 對著的問題,專案名字面意思就是 NVIDIA Kubernetes Engine。輝達以 Apache 2.0 把它開源,Go 寫成,對著 1.27.3,目前是預覽版。這週它一天漲了大約 345 個 star,對一個總共 809 star 的基礎設施倉庫來說,意思是大部分關注者是最近幾天才找到它的。

按輝達自己的說法,它是什麼

README 在定義上很小心,這份小心值得抄一遍,因為它能省掉很多誤會。

輝達講得很明確:NVKE 既不是 Kubernetes 發行版,也不是 Cluster API 的一種 flavor。專案自稱是 Kubernetes 叢集的自託管工廠。一個用完就丟的種子叢集拉起一個管理叢集,跑在管理叢集上的管理面再按需開通並管理許多隔離的工作負載叢集的生命週期。

所以一次安裝裡有兩種叢集。管理叢集跑 NVKE 管理面和基礎設施控制器。工作負載叢集跑客戶應用,每個有自己的控制面、自己的 etcd、自己的節點池。你營運管理面。你的客戶透過 Kubernetes API 和 kubectl 用他們的叢集,從他們那邊看就像一個託管服務。

一個 neocloud、一個研究實驗室,或者一家自有機櫃的公司,平台團隊最後都會手工搭出這個形狀。總得有人負責中間那段無聊的事:開機器、加節點、換壞件、升 Kubernetes 版本,而且要按租戶做,不能串味。NVKE 就是那段中間,被打了包。

有意思的是身分那一段

這裡多數元件都在預期之內。讓我意外的是節點身分。

節點在拿到加入憑證之前,用 TPM 透過 SPIFFE/SPIRE 做證明。如果你想過一個叢集憑什麼知道「請求加入的機器就是你開通的那台,而不是別的什麼找到了端點」,這就是答案,而且是對的答案。證明是對著硬體做的,不是對著某人從 config map 裡複製出來的 token。

etcd 資料加密可以按叢集開,對多租戶部署來說這是基本要求,不是什麼賣點。

機器來自 NVIDIA Infra Controller,也就是 NICo,它是預覽階段唯一相容的基礎設施提供方。這是一條真實的限制。如果你的硬體由別的東西管,這裡還不能插拔。

沒有 GPU 也能試

倉庫裡最友善的東西是本地 quickstart,它在模擬機器上跑一個開發管理面和一個工作負載叢集。不需要 NVIDIA 帳號。要求是一台 Linux 主機或虛擬機,amd64 或 arm64,至少 6 個 CPU、12 GiB 可用記憶體、100 GiB 可用磁碟、Docker,以及虛擬 TPM 支援。macOS 上用一個 Colima 虛擬機。

這項練習的目標很窄也很實際:走到一個工作負載叢集,確認它的節點回報 Ready。這一步過了,你就沒碰晶片地看完了一整圈。

另一條路是從原始碼建置,無聊得讓人放心:

git clone https://github.com/dsx-ai-factory/nvke.git
cd nvke
make build

會在 bin/ 裡生成九個執行檔:agent、updater、controller、nvkectl、capd-reboot-controller、nvke-os-image-check、management-engine、tenant-api、operator-api。建置不會啟動管理面,也不會建立叢集。這話聽著像廢話,直到你跑過一個正好會幹這兩件事的 make 目標。

真實安裝時,機器、網路、節點映像和映像倉庫都由你自己提供,並且要配好對 NICo 的存取。配套倉庫 nvkr,即 NVIDIA Kubernetes Recipes,用固定的輸入建置節點映像和 NVKE 元件,並持有建置與發布的證據。把「建置什麼」和「部署什麼」分開是對的接縫,這也意味著產物有一套獨立於控制面的來源說明。

限制那一節讀起來像自白

NVKE 在這裡賺到了一些信任。

預覽版帶著明確的警告,寫在 README 裡,不是埋在 wiki 深處。安裝後 API 驗證是關的,API 走明文 HTTP。官方期待你自己配好驗證和受保護存取再放呼叫方進來。管理叢集不會自我升級、擴容或替換。沒有管理面升級流程,也沒有備份和還原流程。FDE 節點映像只用於評估,不提供靜態資料機密性。

這份清單不常見。多數預覽公告寫一句「不適用於生產」就走了。輝達把你會被傷到的具體方式列了出來,這樣你能判斷自己的評估安不安全。

給準備部署的人:明文 HTTP 加無驗證這個組合,意味著管理面必須待在你控制的網路邊界後面,沒有例外。這不是「以後會加固」的情況,是「不要給它路由」的情況。

這東西給誰用

大致三類。

第一類是跑 GPU 雲的人。如果你在自己的硬體上賣 Kubernetes 叢集,控制面的自建還是採購這道帳很難算,因為它不是客戶付錢的東西,卻是凌晨三點把你叫起來的東西。一個 Apache 2.0、給租戶一個 kubectl 形狀介面的管理面,哪怕還在預覽品質也有吸引力,因為程式碼你能讀。

第二類是有中央平台團隊和內部客戶的大企業。「營運方管平面,客戶拿叢集」這個模型,直接對應一家銀行或製造商真正分配 GPU 算力的方式:一張工單、一個配額、一個隔離的命名空間,而不是一個共享叢集加一點 RBAC 的希望。

第三類是研究機構。按叢集的 etcd 加 TPM 證明的多租戶隔離,很接近一所大學在四個實驗室共用一台 DGX 機櫃、其中一個在做不能給別人看的東西時所需要的。

不適合的是一個只有八張 GPU 的團隊。你在控制面上花的時間會比在模型上多。

戰略層面怎麼看

輝達的軟體策略一段時間以來是一致的:讓硬體好被消費,讓編排層免費。CUDA、NCCL、Triton、NIM,現在是 Kubernetes 管理面。這些都不是利潤所在。它們全都讓晶片更好用,而晶片才是利潤所在。

還有一層競爭意味。GPU 的託管 Kubernetes 故事基本上是超大規模雲端廠商在講,因為控制面服務和硬體兩頭都在他們手裡。NVKE 把同一個形狀給了任何有機櫃的人,而且不需要把負載送到 AWS 去。對一個主權雲或受監管行業的買家來說,這是一個真實存在、之前沒有開源版本的選項。

反面的論點是維護。控制面是一個要按計畫升級、週五打補丁、etcd 快照壞了要重建的服務。它不是一個在 lockfile 裡升個版本的函式庫。預覽版裡缺少管理面升級路徑,不是一個文件缺口,而是這個問題最難的部分,輝達還沒有公開解決它。

所以把它當成一個架構的預覽,而不是一個產品。讀程式碼,跑本地 quickstart,然後形成一個判斷:當管理叢集自己需要搬家時,種子叢集引導這個模型還站得住嗎。這個問題,而不是模型目錄,才決定 GPU 的 Kubernetes 控制面能不能真的變成大宗商品軟體。

Apache 2.0 意味著如果答案是不行,你可以 fork。這才是這次發布的實際價值。

相關文章