在 Azure Kubernetes 服务上安装和配置 Kueue （AKS）

在 Azure Kubernetes 服务 上安装和配置托管 Kueue 扩展（预览版）

AKS 托管 Kueue 扩展提供用于在 AKS 群集上部署 Kueue 的 Azure 本机安装路径。 如果要通过 AKS 群集扩展体验部署 Kueue，而不是直接安装上游 Helm 图表，请使用此安装方法。

托管扩展先决条件

在开始之前，请确保具有以下工具：

• AKS 版本 v1.34 或更高版本
• Azure CLI 2.56 或更高版本
• kubectl 版本 1.21.0 或更高版本
• Azure CLI k8s-extension 版本 1.9.3
• 创建和删除的权限：资源组、AKS 群集、AKS 节点池和群集扩展

局限性

• AKS 托管 Kueue 扩展目前在以下Azure区域中可用：centralus、westus、westus2 和 eastus
• AKS 托管 Kueue 扩展目前仅支持群集自动缩放程序，并计划支持节点自动预配

安装托管 Kueue 扩展

为Azure订阅、资源组和 AKS 群集设置环境变量：

SUBSCRIPTION_ID="<subscription-id>"
RESOURCE_GROUP="<resource-group-name>"
CLUSTER_NAME="<aks-cluster-name>"

安装 Kueue 群集扩展：

az k8s-extension create \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--cluster-type managedClusters \
--name kueue \
--extension-type microsoft.kueue \
--scope cluster \
--release-namespace kueue-system \
--version 0.19.6-aks.0.4.4 \
--auto-upgrade-mode none

验证扩展安装

获取预配状态和 Kueue 扩展的已安装版本。 扩展完成预配后，继续 #verify-your-kueue-installation。

az k8s-extension show \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--cluster-type managedClusters \
--name kueue \
--output json

卸载托管 Kueue 扩展

如果要删除托管 Kueue 而不删除 AKS 群集，请删除扩展：

az k8s-extension delete \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--cluster-type managedClusters \
--name kueue \
--yes

使用 Helm 安装 Kueue

Helm 前提条件

在开始之前，请确保具有以下工具：

• Helm v3.0.0 或更高版本
• 创建和删除的权限：资源组、AKS 群集、AKS 节点池和群集扩展

配置可选的 Kueue 功能

虽然默认情况下会启用可能需要的大多数功能和计划策略，但像 TopologyAwareScheduling 这样的有些功能和计划策略并不会被默认启用。 如果需要，请通过更改默认功能门或配置 Helm 图表文件中的 Kueue 参数值values.yaml来重新配置 Kueue 安装。

Kueue 支持多个工作负载框架，您需要在运行 MPI 运算符 MPIJobs、KubeRay的RayJob 等时，显式启用 Kueue 的调度和资源管理功能。

以下示例支持：

• LocalQueueMetrics 提供特定于 LocalQueues 状态和活动的详细 Prometheus 指标，支持对工作负荷允许、配额预留和资源利用率进行精细监视。
• TopologyAwareScheduling允许根据池或集群中节点的拓扑结构来调度Pod，以改善Pod之间的可用带宽。
• 批处理和 AI 工作负载框架的集成，包括 Kubeflow、Ray 和 JobSet。

1. 创建并保存 values.yaml 文件以选择性地自定义 Kueue 配置。

   cat <<EOF > values.yaml
   controllerManager:
     featureGates:
       - name: TopologyAwareScheduling
         enabled: true
       - name: LocalQueueMetrics
         enabled: true
     managerConfig:
       controllerManagerConfigYaml: |
         apiVersion: config.kueue.x-k8s.io/v1beta1
         kind: Configuration
         integrations:
           frameworks:
             - batch/job
             - kubeflow.org/mpijob
             - ray.io/rayjob
             - ray.io/raycluster
             - jobset.x-k8s.io/jobset
             - kubeflow.org/paddlejob
             - kubeflow.org/pytorchjob
             - kubeflow.org/tfjob
             - kubeflow.org/xgboostjob
             - kubeflow.org/jaxjob
   EOF
   

2. 使用 helm install 命令在专用命名空间中安装最新版本的 Kueue 控制器和 CRD。

   LATEST_VERSION=$(curl -s https://api.github.com/repos/kubernetes-sigs/kueue/releases/latest | grep tag_name | cut -d '"' -f 4 | sed 's/^v//')
   
   helm install kueue oci://k8sgcr.azk8s.cn/kueue/charts/kueue \
    --version=${LATEST_VERSION} \
   --create-namespace --namespace=kueue-system \
   --values values.yaml
   

3. 使用 helm list 命令确认部署状态。

   helm list --namespace kueue-system
   

   输出应该包括Statusdeployed，如下所示：

   Pulled: k8sgcr.azk8s.cn/kueue/charts/kueue:0.13.4
   Digest: -
   NAME: kueue
   LAST DEPLOYED: -
   NAMESPACE: kueue-system
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   

卸载 Kueue

如果不再需要 AKS 群集中的 Kueue 控制器管理器或 Kueue 自定义资源，请卸载 Helm 存储库并删除专用命名空间和资源。

1. 使用 helm uninstall 命令卸载 Kueue Helm 存储库。

   helm uninstall kueue --namespace kueue-system  
   

2. 使用 kubectl delete 命令删除专用命名空间和资源。

   kubectl delete namespace kueue-system