英伟达开源 GPU 集群控制面:把一台机器切成多个租户

GPU 基础设施难受的部分,出现在拿到卡之后:怎么把其中一片交到一个团队手里,让这个团队能用,但不至于把整台机器都给他们。
这正是 dsx-ai-factory/nvke 对着的问题,项目名字面意思就是 NVIDIA Kubernetes Engine。英伟达以 Apache 2.0 把它开源,Go 写成,对着 1.27.3,目前是预览版。这周它一天涨了大约 345 个 star,对一个总共 809 star 的基础设施仓库来说,意思是大部分关注者是最近几天才找到它的。
按英伟达自己的说法,它是什么
README 在定义上很小心,这份小心值得抄一遍,因为它能省掉很多误会。
英伟达讲得很明确:NVKE 既不是 Kubernetes 发行版,也不是 Cluster API 的一种 flavor。项目自称是 Kubernetes 集群的自托管工厂。一个用完就丢的种子集群拉起一个管理集群,跑在管理集群上的管理面再按需开通并管理许多隔离的工作负载集群的生命周期。
所以一次安装里有两种集群。管理集群跑 NVKE 管理面和基础设施控制器。工作负载集群跑客户应用,每个有自己的控制面、自己的 etcd、自己的节点池。你运营管理面。你的客户通过 Kubernetes API 和 kubectl 用他们的集群,从他们那边看就像一个托管服务。
一个 neocloud、一个研究实验室,或者一家自有机柜的公司,平台团队最后都会手工搭出这个形状。总得有人负责中间那段无聊的事:开机器、加节点、换坏件、升 Kubernetes 版本,而且要按租户做,不能串味。NVKE 就是那段中间,被打了包。
有意思的是身份那一段
这里多数组件都在预期之内。让我意外的是节点身份。
节点在拿到加入凭证之前,用 TPM 通过 SPIFFE/SPIRE 做证明。如果你想过一个集群凭什么知道「请求加入的机器就是你开通的那台,而不是别的什么找到了端点」,这就是答案,而且是对的答案。证明是对着硬件做的,不是对着某人从 config map 里复出来的 token。
etcd 数据加密可以按集群开,对多租户部署来说这是基本要求,不是什么卖点。
机器来自 NVIDIA Infra Controller,也就是 NICo,它是预览阶段唯一兼容的基础设施提供方。这是一条真实的限制。如果你的硬件由别的东西管,这里还不能插拔。
没有 GPU 也能试
仓库里最友好的东西是本地 quickstart,它在模拟机器上跑一个开发管理面和一个工作负载集群。不需要 NVIDIA 账号。要求是一台 Linux 主机或虚拟机,amd64 或 arm64,至少 6 个 CPU、12 GiB 空闲内存、100 GiB 空闲磁盘、Docker,以及虚拟 TPM 支持。macOS 上用一个 Colima 虚拟机。
这项练习的目标很窄也很实际:走到一个工作负载集群,确认它的节点报 Ready。这一步过了,你就没碰硅片地看完了一整圈。
另一条路是从源码构建,无聊得让人放心:
git clone https://github.com/dsx-ai-factory/nvke.git
cd nvke
make build
会在 bin/ 里生成九个二进制:agent、updater、controller、nvkectl、capd-reboot-controller、nvke-os-image-check、management-engine、tenant-api、operator-api。构建不会启动管理面,也不会创建集群。这话听着像废话,直到你跑过一个正好会干这两件事的 make 目标。
真实安装时,机器、网络、节点镜像和镜像仓库都由你自己提供,并且要配好对 NICo 的访问。配套仓库 nvkr,即 NVIDIA Kubernetes Recipes,用固定的输入构建节点镜像和 NVKE 组件,并持有构建与发布的证据。把「构建什么」和「部署什么」分开是对的接缝,这也意味着产物有一套独立于控制面的来源说明。
限制那一节读起来像自白
NVKE 在这里赚到了一些信任。
预览版带着明确的警告,写在 README 里,不是埋在 wiki 深处。安装后 API 认证是关的,API 走明文 HTTP。官方期待你自己配好认证和受保护访问再放调用方进来。管理集群不会自我升级、扩容或替换。没有管理面升级流程,也没有备份和恢复流程。FDE 节点镜像只用于评估,不提供静态数据机密性。
这份清单不常见。多数预览公告写一句「不适用于生产」就走了。英伟达把你会被伤到的具体方式列了出来,这样你能判断自己的评估安不安全。
给准备部署的人:明文 HTTP 加无认证这个组合,意味着管理面必须待在你控制的网络边界后面,没有例外。这不是「以后会加固」的情况,是「不要给它路由」的情况。
这东西给谁用
大致三类。
第一类是跑 GPU 云的人。如果你在自己的硬件上卖 Kubernetes 集群,控制面的自建还是采购这道账很难算,因为它不是客户付钱的东西,却是凌晨三点把你叫起来的东西。一个 Apache 2.0、给租户一个 kubectl 形状接口的管理面,哪怕还在预览质量也有吸引力,因为代码你能读。
第二类是有中心平台团队和内部客户的大企业。「运营方管平面,客户拿集群」这个模型,直接对应一家银行或制造商真正分配 GPU 算力的方式:一张工单、一个配额、一个隔离的命名空间,而不是一个共享集群加一点 RBAC 的希望。
第三类是研究机构。按集群的 etcd 加 TPM 证明的多租户隔离,很接近一所大学在四个实验室共用一台 DGX 机柜、其中一个在做不能给别人看的东西时所需要的。
不适合的是一个只有八张 GPU 的团队。你在控制面上花的时间会比在模型上多。
战略层面怎么看
英伟达的软件策略一段时间以来是一致的:让硬件好被消费,让编排层免费。CUDA、NCCL、Triton、NIM,现在是 Kubernetes 管理面。这些都不是利润所在。它们全都让硅片更好用,而硅片才是利润所在。
还有一层竞争意味。GPU 的托管 Kubernetes 故事基本是超大规模云厂商在讲,因为控制面服务和硬件两头都在他们手里。NVKE 把同一个形状给了任何有机柜的人,而且不需要把负载送到 AWS 去。对一个主权云或受监管行业的买家来说,这是一个真实存在、之前没有开源版本的选项。
反面的论点是维护。控制面是一个要按计划升级、周五打补丁、etcd 快照坏了要重建的服务。它不是一个在 lockfile 里升个版本的库。预览版里缺少管理面升级路径,不是一个文档缺口,而是这个问题最难的部分,英伟达还没有公开解决它。
所以把它当成一个架构的预览,而不是一个产品。读代码,跑本地 quickstart,然后形成一个判断:当管理集群自己需要搬家时,种子集群引导这个模型还站得住吗。这个问题,而不是模型目录,才决定 GPU 的 Kubernetes 控制面能不能真的变成大宗商品软件。
Apache 2.0 意味着如果答案是不行,你可以 fork。这才是这次发布的实际价值。
相关文章
十份降级报告,没有一份改了订单数字
十份降级报告都在讲不确定性,没有一份改动订单。真正的变量是 158 美元的恐慌低点和 5.1% 的十年期收益率。
三十三年来第一次,黄仁勋不在电话会上
数字几乎无悬念,真正要看的是克雷斯如何在首次独自主持的电话会上回答指引、Rubin 与毛利率三个问题。
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。