在 Azure Kubernetes 服务 (AKS) 上使用默认优先级类配置托管 Kueue 的队列

Azure Kubernetes 服务 (AKS) 上的托管 Kueue 通过在向群集添加任何节点池时提供托管资源类型,以及提供三个默认工作负载优先级类(优先级从低到高),简化了工作负载队列和优先级划分。

在这篇文章中,你将学会如何:

  • 使用生成的 aks-cpu ResourceFlavor 配置 ClusterQueue。
  • 创建用于提交工作负荷的 LocalQueue。
  • 使用托管工作负荷优先级类来控制准入和抢占。

了解托管 Kueue 资源

托管 Kueue 提供可在配置队列和工作负荷时引用的 AKS 托管资源。 对于 CPU 工作负荷,托管 Kueue 提供 aks-cpu ResourceFlavor。 可以从 a ClusterQueue 引用此 ResourceFlavor,将队列配额与符合条件的 CPU 节点相关联。

托管 Kueue 还提供以下工作负荷优先级类:

优先级类 Value
aks-low-priority 100
aks-medium-priority 500
aks-high-priority 1000

当工作负荷争用有限的配额时,Kueue 使用工作负荷优先级作为准入顺序的一部分。 还可以在 ClusterQueue 上配置抢占,以允许高优先级工作负荷从低优先级工作负荷回收配额。

Prerequisites

在开始之前,请确保具有以下资源和工具:

  • 安装了托管 Kueue 扩展的 AKS 群集。
  • Azure CLI
  • kubectl
  • 有权创建 AKS 节点池的Azure订阅。
  • 为你的 AKS 群集设置的 RESOURCE_GROUP 和 CLUSTER_NAME 环境变量。

添加 CPU 用户节点池

将 CPU 用户节点池添加到 AKS 群集:

az aks nodepool add \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name cpupool \
  --node-count 1 \
  --node-vm-size Standard_D2s_v3 \
  --mode User

等待节点准备就绪:

kubectl wait \
  --for=condition=Ready nodes \
  --selector kubernetes.azure.com/agentpool=cpupool \
  --timeout=10m

托管 Kueue 扩展为符合条件的 CPU 用户节点创建 aks-cpu ResourceFlavor。 ClusterQueue 可以使用此 ResourceFlavor 将队列配额与这些节点相关联。

注释

托管 Kueue 扩展管理带有 aks- 前缀的资源,例如 aks-cpu。 在 Kueue 配置中使用这些资源,而不要创建使用相同 aks- 前缀的替代项。

创建 ClusterQueue 和 LocalQueue

Kueue 使用两个队列资源:ClusterQueue 和 LocalQueue。 ClusterQueue 定义群集级资源配额和准入策略。 一个 LocalQueue 提供一个带命名空间的队列,工作负荷在提交工作时会引用该队列。

可以将自动生成的 aks-cpu ResourceFlavor 与工作负荷优先级和抢占策略合并在同一个 ClusterQueue 中。 此配置允许工作负载共享托管 CPU 容量,同时使更高优先级的工作负载能够在需要时访问受限配额。

此配置:

  1. 通过自动生成的aks-cpu ResourceFlavor,为ClusterQueue提供三个名义配额的 CPU。
  2. 为 kueue-demo 命名空间中的工作负荷创建 kueue-demo-queueLocalQueue。
  3. 将 设置为 ,这使得较高优先级的工作负荷能够从同一 中较低优先级的工作负荷回收配额。

创建包含以下配置的文件 kueue-demo.yaml :

apiVersion: v1
kind: Namespace
metadata:
  name: kueue-demo
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: ClusterQueue
metadata:
  name: kueue-demo-cq
spec:
  namespaceSelector: {}
  queueingStrategy: BestEffortFIFO
  preemption:
    withinClusterQueue: LowerPriority
  resourceGroups:
  - coveredResources:
    - cpu
    flavors:
    - name: aks-cpu
      resources:
      - name: cpu
        nominalQuota: "3"
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: LocalQueue
metadata:
  name: kueue-demo-queue
  namespace: kueue-demo
spec:
  clusterQueue: kueue-demo-cq
Apply the configuration:
kubectl apply -f kueue-demo.yaml

使用工作负载优先级和抢占功能

将工作负荷提交到 LocalQueue 时,可以分配其中一个托管工作负荷优先级类:

  • 对于应优先于低优先级工作获得受限队列容量的工作负荷,请使用 aks-high-priority。
  • 对于具有标准优先级要求的工作负荷,请使用 aks-medium-priority。
  • 当队列容量受限时,对于可以等待的工作负载,请使用 aks-low-priority。

配置 withinClusterQueue 到 LowerPriority时,当两个工作负荷都需要相同 ClusterQueue配额时,高优先级工作负荷可能会抢占低优先级的工作负荷。 当配额再次可用时,低优先级工作负荷仍符合准入条件。

此方法允许使用 AKS 管理的 ResourceFlavors 和优先级类,而无需创建和维护自定义 ResourceFlavor 或工作负荷优先级资源。

后续步骤

使用自动生成的 ResourceFlavor 和默认优先级类配置 ClusterQueue 和 LocalQueue 后,使用配置的队列提交和计划工作负荷。