在 Azure Kubernetes 服务 (AKS) 上创建完全托管的 GPU 节点池

在Azure Kubernetes 服务 (AKS)上运行 NVIDIA GPU 工作负载通常需要在每个 GPU 节点上安装和维护 NVIDIA GPU 驱动程序、Kubernetes 设备插件和 GPU 指标导出程序。 这些组件支持 GPU 计划、容器级 GPU 访问和遥测,但手动或通过 NVIDIA GPU 操作员 安装它们会增加操作开销。

通过使用完全托管的 GPU 节点,AKS 为你安装和维护 NVIDIA GPU 驱动程序、设备插件和数据中心 GPU 管理器 (DCGM) 指标导出程序 。 GPU 节点池创建成为一个步骤,GPU 容量的行为与其他任何 AKS 节点池一样。 可以将托管 GPU 节点与手动创建的 GPU 节点池和节点自动预配(NAP)配合使用。

通过 gpuProfile.nvidia 下的两个字段配置 GPU 托管节点池:

  • managementMode (Managed 或 Unmanaged) 控制 AKS 是否仅安装完整的托管 GPU 堆栈(驱动程序、设备插件和 DCGM 指标导出程序)或驱动程序。 默认值为 Unmanaged。
  • migStrategy (None、 Single或 Mixed) 为支持的 GPU SKU(如 A100 和 H100)设置多实例 GPU(MIG)策略。 默认值为 None。

在本文中,你将预配托管 GPU 节点池,(可选)启用 MIG、验证堆栈并运行示例 GPU 工作负荷。

在您开始之前

  • 本文假设你有现有 AKS 群集。 如果没有群集,请使用 Azure CLI、 Azure PowerShell 或 Azure 门户创建群集。
  • 需要安装 Azure CLI 2.85.0 或更高版本。 若要查找版本,请运行 az --version。 如果需要安装或升级,请参阅 安装 Azure CLI。
  • 在运行本文中的 az aks get-credentials 示例之前,先使用 kubectl 获取 AKS 群集的凭据。

托管 GPU 组件

托管 GPU 节点池可以在每个节点上包含以下组件:

组件 它的作用是什么 AKS 管理的内容
NVIDIA GPU 驱动程序 内核模块和用户空间库,使 OS 和容器能够与 GPU 硬件通信。 驱动程序版本选择、在节点预配时安装,并在节点映像升级后重新安装。
NVIDIA Kubernetes 设备插件 与 DaemonSet 等价的组件,将 GPU 资源(nvidia.com/gpu,nvidia.com/mig-*)声明给 kubelet,以便 Pod 可以请求这些资源。 每个 GPU 节点上的部署、配置(包括 MIG 策略)和生命周期。
NVIDIA DCGM 和 DCGM 指标导出程序 数据中心 GPU 管理器收集 GPU 运行状况和利用率数据,并在端口19400上公开 Prometheus 指标(例如DCGM_FI_DEV_GPU_UTIL,DCGM_FI_DEV_GPU_TEMP)。 安装、服务启用以及用于采集指标的 kubernetes.azure.com/dcgm-exporter=enabled 节点标签。
GPU 运行状况信号 NPD 信号显示特定于 GPU 的节点条件,例如 UnhealthyNvidiaDevicePlugin 和 UnhealthyNvidiaDCGMServices。 GPU 节点上的 NPD 监控和条件报告。

安装配置文件

两个 gpuProfile 字段决定哪些组件 AKS 安装:

  • gpuProfile.driver (Install 或 None):AKS 是否安装 NVIDIA GPU 驱动程序。
  • gpuProfile.nvidia.managementMode (Managed 或 Unmanaged):AKS 是否还会在驱动程序顶部安装面向 Kubernetes 的 GPU 堆栈。

它们共同生成三个安装配置文件:

安装配置文件 CLI 标志 AKS 安装和管理的内容
完全托管栈 --enable-managed-gpu=true (或两个标志都不使用) 以上所有四个组件:NPD 中的驱动程序、设备插件、DCGM 指标导出者和 GPU 运行状况监视。
仅限驱动程序 (默认值) --enable-managed-gpu=false 仅限 NVIDIA GPU 驱动程序。 可以自行安装和管理设备插件、指标导出者和运行状况监视(例如,使用 NVIDIA GPU 操作员)。
无 (BYO) --enable-managed-gpu=false --gpu-driver None 无。 AKS 不会安装四个组件中的任何一个。 你拥有完整的全栈。 请参阅 “自带 GPU 驱动程序”。

默认值和替代值

  • 默认值:如果不传递 --enable-managed-gpu 或 --gpu-driver,AKS 会对使用 NVIDIA GPU 启用型 VM 大小创建的节点池应用 仅驱动程序 配置文件。
  • 替代:managementMode: Managed 需要驱动程序,因此当 --enable-managed-gpu=true 时,--gpu-driver None 会被忽略,并且仍会安装驱动程序。 若要跳过驱动程序,请同时设置 --enable-managed-gpu=false 和 --gpu-driver None。
  • 不可变性:managementMode、migStrategy和driver在创建时都是固定的。 若要更改配置,请创建新的节点池。

局限性

  • 此功能目前仅支持 启用了 NVIDIA GPU 的虚拟机(VM)大小 。
  • AKS 不支持更新常规用途节点池以添加 GPU VM 大小。
  • 此功能不支持Windows节点池,因为不支持 GPU 指标。 创建Windows GPU 节点池时,AKS 会自动安装和管理驱动程序和 DirectX 设备插件。
  • 不支持迁移现有的 多实例 GPU 节点池以使用此功能。
  • 不支持从现有 NVIDIA GPU 节点池到托管 GPU 节点池的就地升级。 若要迁移、封锁和清空现有 GPU 节点,请将工作负载重新部署到使用它 --enable-managed-gpu=true创建的新 GPU 节点池。 有关详细信息,请参阅 AKS 上的“调整节点池大小”。
  • 创建节点池后,managementMode下的migStrategy、driver和gpuProfile字段是不可变的。 若要更改这些值,请创建新的节点池。

注释

启用 GPU 的 VM 包含专用硬件,这些硬件定价较高,其可用性受区域限制。 有关详细信息,请参阅 定价 工具。

创建 AKS 管理的 GPU 节点池

通过传递给--enable-managed-gpu=trueaz aks nodepool add现有 AKS 群集,将托管 GPU 节点池添加到现有 AKS 群集。 AKS 会自动设置gpuProfile.nvidia.managementModeManaged并安装 GPU 驱动程序、设备插件和 DCGM 指标导出程序。

对于使用 NAP 的 AKS 标准群集,请在 az aks nodepool add 上配置托管 GPU 堆栈,而不是使用 AKSNodeClass。

若要使用默认的 Ubuntu作系统 (OS) SKU,无需指定 OS SKU 即可创建节点池。 节点池是根据群集的 Kubernetes 版本为默认操作系统配置的。

  1. 使用带有标志的az aks nodepool add--enable-managed-gpu=true命令将节点池添加到群集。

    az aks nodepool add \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name gpunp \
        --node-count 1 \
        --node-vm-size Standard_NC4as_T4_v3 \
        --node-taints sku=gpu:NoSchedule \
        --enable-managed-gpu=true
    
  2. 确认已成功安装托管 NVIDIA GPU 软件组件:

    az aks nodepool show \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name gpunp
    

    输出应包含以下值:

    ...
    "gpuProfile": {
        "driver": "Install",
        "driverType": "",
        "nvidia": {
            "managementMode": "Managed",
            "migStrategy": null
        }
    },
    ...