在Azure Kubernetes 服务 (AKS)上运行 NVIDIA GPU 工作负载通常需要在每个 GPU 节点上安装和维护 NVIDIA GPU 驱动程序、Kubernetes 设备插件和 GPU 指标导出程序。 这些组件支持 GPU 计划、容器级 GPU 访问和遥测,但手动或通过 NVIDIA GPU 操作员 安装它们会增加操作开销。
通过使用完全托管的 GPU 节点,AKS 为你安装和维护 NVIDIA GPU 驱动程序、设备插件和数据中心 GPU 管理器 (DCGM) 指标导出程序 。 GPU 节点池创建成为一个步骤,GPU 容量的行为与其他任何 AKS 节点池一样。 可以将托管 GPU 节点与手动创建的 GPU 节点池和节点自动预配(NAP)配合使用。
通过 gpuProfile.nvidia 下的两个字段配置 GPU 托管节点池:
-
managementMode (Managed 或 Unmanaged) 控制 AKS 是否仅安装完整的托管 GPU 堆栈(驱动程序、设备插件和 DCGM 指标导出程序)或驱动程序。 默认值为 Unmanaged。
-
migStrategy (None、 Single或 Mixed) 为支持的 GPU SKU(如 A100 和 H100)设置多实例 GPU(MIG)策略。 默认值为 None。
在本文中,你将预配托管 GPU 节点池,(可选)启用 MIG、验证堆栈并运行示例 GPU 工作负荷。
在您开始之前
托管 GPU 组件
托管 GPU 节点池可以在每个节点上包含以下组件:
| 组件 |
它的作用是什么 |
AKS 管理的内容 |
|
NVIDIA GPU 驱动程序 |
内核模块和用户空间库,使 OS 和容器能够与 GPU 硬件通信。 |
驱动程序版本选择、在节点预配时安装,并在节点映像升级后重新安装。 |
|
NVIDIA Kubernetes 设备插件 |
与 DaemonSet 等价的组件,将 GPU 资源(nvidia.com/gpu,nvidia.com/mig-*)声明给 kubelet,以便 Pod 可以请求这些资源。 |
每个 GPU 节点上的部署、配置(包括 MIG 策略)和生命周期。 |
|
NVIDIA DCGM 和 DCGM 指标导出程序 |
数据中心 GPU 管理器收集 GPU 运行状况和利用率数据,并在端口19400上公开 Prometheus 指标(例如DCGM_FI_DEV_GPU_UTIL,DCGM_FI_DEV_GPU_TEMP)。 |
安装、服务启用以及用于采集指标的 kubernetes.azure.com/dcgm-exporter=enabled 节点标签。 |
|
GPU 运行状况信号 |
NPD 信号显示特定于 GPU 的节点条件,例如 UnhealthyNvidiaDevicePlugin 和 UnhealthyNvidiaDCGMServices。 |
GPU 节点上的 NPD 监控和条件报告。 |
安装配置文件
两个 gpuProfile 字段决定哪些组件 AKS 安装:
-
gpuProfile.driver (Install 或 None):AKS 是否安装 NVIDIA GPU 驱动程序。
-
gpuProfile.nvidia.managementMode (Managed 或 Unmanaged):AKS 是否还会在驱动程序顶部安装面向 Kubernetes 的 GPU 堆栈。
它们共同生成三个安装配置文件:
| 安装配置文件 |
CLI 标志 |
AKS 安装和管理的内容 |
|
完全托管栈 |
--enable-managed-gpu=true (或两个标志都不使用) |
以上所有四个组件:NPD 中的驱动程序、设备插件、DCGM 指标导出者和 GPU 运行状况监视。 |
|
仅限驱动程序 (默认值) |
--enable-managed-gpu=false |
仅限 NVIDIA GPU 驱动程序。 可以自行安装和管理设备插件、指标导出者和运行状况监视(例如,使用 NVIDIA GPU 操作员)。 |
|
无 (BYO) |
--enable-managed-gpu=false --gpu-driver None |
无。 AKS 不会安装四个组件中的任何一个。 你拥有完整的全栈。 请参阅 “自带 GPU 驱动程序”。 |
默认值和替代值
-
默认值:如果不传递
--enable-managed-gpu 或 --gpu-driver,AKS 会对使用 NVIDIA GPU 启用型 VM 大小创建的节点池应用 仅驱动程序 配置文件。
-
替代:
managementMode: Managed 需要驱动程序,因此当 --enable-managed-gpu=true 时,--gpu-driver None 会被忽略,并且仍会安装驱动程序。 若要跳过驱动程序,请同时设置 --enable-managed-gpu=false 和 --gpu-driver None。
-
不可变性:
managementMode、migStrategy和driver在创建时都是固定的。 若要更改配置,请创建新的节点池。
局限性
- 此功能目前仅支持 启用了 NVIDIA GPU 的虚拟机(VM)大小 。
- AKS 不支持更新常规用途节点池以添加 GPU VM 大小。
- 此功能不支持Windows节点池,因为不支持 GPU 指标。 创建Windows GPU 节点池时,AKS 会自动安装和管理驱动程序和 DirectX 设备插件。
- 不支持迁移现有的 多实例 GPU 节点池以使用此功能。
- 不支持从现有 NVIDIA GPU 节点池到托管 GPU 节点池的就地升级。 若要迁移、封锁和清空现有 GPU 节点,请将工作负载重新部署到使用它
--enable-managed-gpu=true创建的新 GPU 节点池。 有关详细信息,请参阅 AKS 上的“调整节点池大小”。
- 创建节点池后,
managementMode下的migStrategy、driver和gpuProfile字段是不可变的。 若要更改这些值,请创建新的节点池。
注释
启用 GPU 的 VM 包含专用硬件,这些硬件定价较高,其可用性受区域限制。 有关详细信息,请参阅 定价 工具。
创建 AKS 管理的 GPU 节点池
通过传递给--enable-managed-gpu=trueaz aks nodepool add现有 AKS 群集,将托管 GPU 节点池添加到现有 AKS 群集。 AKS 会自动设置gpuProfile.nvidia.managementModeManaged并安装 GPU 驱动程序、设备插件和 DCGM 指标导出程序。
对于使用 NAP 的 AKS 标准群集,请在 az aks nodepool add 上配置托管 GPU 堆栈,而不是使用 AKSNodeClass。
若要使用默认的 Ubuntu作系统 (OS) SKU,无需指定 OS SKU 即可创建节点池。 节点池是根据群集的 Kubernetes 版本为默认操作系统配置的。
使用带有标志的az aks nodepool add--enable-managed-gpu=true命令将节点池添加到群集。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=true
确认已成功安装托管 NVIDIA GPU 软件组件:
az aks nodepool show \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp
输出应包含以下值:
...
"gpuProfile": {
"driver": "Install",
"driverType": "",
"nvidia": {
"managementMode": "Managed",
"migStrategy": null
}
},
...
若要使用 Azure Linux,请在节点池创建期间通过将 --os-sku 设置为 AzureLinux 来指定 OS SKU。
os-type 默认设置为 Linux。
使用命令az aks nodepool add,并将--os-sku和AzureLinux标志设置为--enable-managed-gpu=true,以将节点池添加到群集。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--os-sku AzureLinux \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=true
确认已成功安装托管 NVIDIA GPU 软件组件:
az aks nodepool show \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp
输出应包含以下值:
...
"gpuProfile": {
"driver": "Install",
"driverType": "",
"nvidia": {
"managementMode": "Managed",
"migStrategy": null
}
},
...
若要将托管 GPU 节点与节点自动预配 (NAP) 配合使用,请在 spec.gpu 资源上配置 AKSNodeClass,然后创建引用它并选择 Linux NVIDIA GPU 支持的 VM 大小的 NodePool。 此配置适用于 AKS 自动群集(默认启用 NAP)以及启用了 NAP 的 AKS 标准群集。
重要
使用 NAP 的托管 GPU 需要 AKS Machine API 预配模式。
将 Driver 设置为 spec.gpu.mode,并将 Managed 设置为 spec.gpu.nvidia.managementMode,以便 AKS 安装和维护 GPU 驱动程序、设备插件和 DCGM 指标导出器。 默认的 NVIDIA 管理模式为 Unmanaged。 对于托管 GPU 节点,不要将mode设置为None,因为这样会跳过驱动程序安装。
有关详细信息,请参阅 AKSNodeClass 中的 GPU 设置。
创建 AKSNodeClass CRD,并在 spec.gpu 字段中设置 mode: Driver 和 nvidia.managementMode: Managed。
apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
name: managed-gpu-class
spec:
gpu:
mode: Driver
nvidia:
managementMode: Managed
创建一个NodePool CRD,使 NAP 能够部署 NVIDIA GPU SKU。
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: managed-gpu-np
spec:
disruption:
consolidationPolicy: WhenEmptyOrUnderutilized
consolidateAfter: 30s
template:
spec:
nodeClassRef:
group: karpenter.azure.com
kind: AKSNodeClass
name: managed-gpu-class
requirements:
- key: kubernetes.io/arch
operator: In
values: ["amd64"]
- key: kubernetes.io/os
operator: In
values: ["linux"]
- key: karpenter.azure.com/sku-family
operator: In
values: ["N"]
- key: karpenter.azure.com/sku-gpu-manufacturer
operator: In
values: ["nvidia"]
- key: karpenter.sh/capacity-type
operator: In
values: ["spot", "on-demand"]
部署 AKSNodeClass 和 NodePool CRD。
kubectl apply -f managed-gpu-class.yaml
kubectl apply -f managed-gpu-np.yaml
部署请求 GPU 资源的示例工作负荷。 当 Pod 处于 Pending 状态时,NAP 会预配一个相匹配的 GPU 节点。
确认 AKSNodeClass 和 NodePool 资源已部署,并且托管 GPU 标签已应用于 NAP 预配的节点。
kubectl get aksnodeclasses.karpenter.azure.com,nodepools.karpenter.sh
kubectl get nodes -L kubernetes.azure.com/dcgm-exporter
创建托管的多实例 GPU (MIG) 节点池
对于支持多实例 GPU(如 A100 和 H100)的 GPU SKU,请使用 --gpu-mig-strategy 标志在节点池创建时配置 MIG 策略。 该策略控制 MIG 分区向 Kubernetes 公开的方式:
-
Single:所有 MIG 实例都聚合在标准 nvidia.com/gpu 资源下。
-
Mixed:每个 MIG 配置文件都公开为单独的资源,例如 nvidia.com/mig-1g.10gb。
-
None (默认值):未配置 MIG。
创建节点池后,该 migStrategy 字段是不可变的。
有关 MIG 分区、支持的 VM 大小和 GPU 实例配置文件的背景信息,请参阅在 AKS 和 NVIDIA 多实例 GPU中创建多实例 GPU 节点池。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name mignp \
--node-count 1 \
--node-vm-size Standard_NC24ads_A100_v4 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=true \
--gpu-instance-profile MIG1g \
--gpu-mig-strategy Single
使用此配置,Pod 使用标准 nvidia.com/gpu 资源名称请求 GPU 资源。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name mignp \
--node-count 1 \
--node-vm-size Standard_NC24ads_A100_v4 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=true \
--gpu-instance-profile MIG1g \
--gpu-mig-strategy Mixed
使用此配置,Pod 请求特定的 MIG 分区,例如 nvidia.com/mig-1g.10gb: 1。
验证托管 GPU 节点池
节点池准备就绪后,请运行以下检查,确认已安装完整托管堆栈并正常运行。
从节点问题检测器(NPD)验证特定于 GPU 的节点条件:
GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
kubectl describe node $GPU_NODE
在托管 GPU 节点上,以下条件应同时报告 False:
| 条件 |
地位 |
原因 |
UnhealthyNvidiaDevicePlugin |
False |
HealthyNvidiaDevicePlugin |
UnhealthyNvidiaDCGMServices |
False |
HealthyNvidiaDCGMServices |
验证节点上是否存在托管 GPU 标签:
kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
预期输出: enabled.
验证 GPU 资源是否在节点的可分配的资源中声明:
kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
对于非 MIG 节点池,输出包括 "nvidia.com/gpu": "1" (或更多,具体取决于 SKU)。 对于 MIG Mixed 节点池,输出包括特定于 MIG 的资源,例如 "nvidia.com/mig-1g.10gb": "7"。
运行示例工作负荷,以确认能够从容器访问 GPU。
apiVersion: v1
kind: Pod
metadata:
name: managed-gpu-test
spec:
restartPolicy: Never
tolerations:
- key: "sku"
operator: "Equal"
value: "gpu"
effect: "NoSchedule"
containers:
- name: gpu-test
image: mcr.azk8s.cn/azuredocs/samples-tf-mnist-demo:gpu
command: ["nvidia-smi"]
resources:
limits:
nvidia.com/gpu: 1
查看 Pod 日志以查看 nvidia-smi 输出的 GPU 设备信息、驱动程序版本和 CUDA 版本:
kubectl logs managed-gpu-test
缩放托管 GPU 节点池
使用 az aks nodepool scale 手动扩展托管 GPU 节点池。 新节点安装完整的托管 GPU 堆栈。
az aks nodepool scale \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 2
备用安装配置文件
如果 完全托管堆栈 配置文件不适合,AKS 在 GPU 节点池上支持两个备用配置文件。
如果希望 AKS 安装和维护 NVIDIA GPU 驱动程序,但你计划自行部署设备插件和指标导出程序(例如,使用 NVIDIA GPU 操作员)。 设置 --enable-managed-gpu=false:
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=false
使用此配置时:
- AKS 安装和管理 NVIDIA GPU 驱动程序(
gpuProfile.driver 是 Install)。
- AKS 不会安装设备插件、DCGM 指标导出程序或 GPU 运行状况规则。
gpuProfile.nvidia 是 null.
- 只有在部署设备插件之后,才会公布任何
nvidia.com/gpu资源。
如果要自行安装 NVIDIA 驱动程序(例如,运行 NVIDIA GPU 操作员),请使用此配置文件。 使用 --enable-managed-gpu=false --gpu-driver None以下命令创建节点池:
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--enable-managed-gpu=false \
--gpu-driver None
在此配置中,AKS 不会安装 GPU 软件组件:无驱动程序、无设备插件和指标导出程序。 Microsoft 不支持或管理NVIDIA 驱动程序或任何其他这些节点上的 GPU 组件。 有关详细信息,请参阅跳过 GPU 驱动程序安装。
后续步骤
相关文章