Azure Kubernetes 服务 (AKS) 上的托管 Kueue 通过在向群集添加任何节点池时提供托管资源类型,以及提供三个默认工作负载优先级类(优先级从低到高),简化了工作负载队列和优先级划分。
在这篇文章中,你将学会如何:
- 使用生成的
aks-cpuResourceFlavor 配置 ClusterQueue。 - 创建用于提交工作负荷的 LocalQueue。
- 使用托管工作负荷优先级类来控制准入和抢占。
了解托管 Kueue 资源
托管 Kueue 提供可在配置队列和工作负荷时引用的 AKS 托管资源。 对于 CPU 工作负荷,托管 Kueue 提供 aks-cpu ResourceFlavor。 可以从 a ClusterQueue 引用此 ResourceFlavor,将队列配额与符合条件的 CPU 节点相关联。
托管 Kueue 还提供以下工作负荷优先级类:
| 优先级类 | Value |
|---|---|
aks-low-priority |
100 |
aks-medium-priority |
500 |
aks-high-priority |
1000 |
当工作负荷争用有限的配额时,Kueue 使用工作负荷优先级作为准入顺序的一部分。 还可以在 ClusterQueue 上配置抢占,以允许高优先级工作负荷从低优先级工作负荷回收配额。
Prerequisites
在开始之前,请确保具有以下资源和工具:
- 安装了托管 Kueue 扩展的 AKS 群集。
- Azure CLI
- kubectl
- 有权创建 AKS 节点池的Azure订阅。
- 为你的 AKS 群集设置的
RESOURCE_GROUP和CLUSTER_NAME环境变量。
添加 CPU 用户节点池
将 CPU 用户节点池添加到 AKS 群集:
az aks nodepool add \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name cpupool \
--node-count 1 \
--node-vm-size Standard_D2s_v3 \
--mode User
等待节点准备就绪:
kubectl wait \
--for=condition=Ready nodes \
--selector kubernetes.azure.com/agentpool=cpupool \
--timeout=10m
托管 Kueue 扩展为符合条件的 CPU 用户节点创建 aks-cpu ResourceFlavor。
ClusterQueue 可以使用此 ResourceFlavor 将队列配额与这些节点相关联。
注释
托管 Kueue 扩展管理带有 aks- 前缀的资源,例如 aks-cpu。 在 Kueue 配置中使用这些资源,而不要创建使用相同 aks- 前缀的替代项。
创建 ClusterQueue 和 LocalQueue
Kueue 使用两个队列资源:ClusterQueue 和 LocalQueue。
ClusterQueue 定义群集级资源配额和准入策略。 一个 LocalQueue 提供一个带命名空间的队列,工作负荷在提交工作时会引用该队列。
可以将自动生成的 aks-cpu ResourceFlavor 与工作负荷优先级和抢占策略合并在同一个 ClusterQueue 中。 此配置允许工作负载共享托管 CPU 容量,同时使更高优先级的工作负载能够在需要时访问受限配额。
此配置:
- 通过自动生成的
aks-cpuResourceFlavor,为ClusterQueue提供三个名义配额的 CPU。 - 为
kueue-demo命名空间中的工作负荷创建kueue-demo-queueLocalQueue。 - 将 设置为 ,这使得较高优先级的工作负荷能够从同一 中较低优先级的工作负荷回收配额。
创建包含以下配置的文件 kueue-demo.yaml :
apiVersion: v1
kind: Namespace
metadata:
name: kueue-demo
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: ClusterQueue
metadata:
name: kueue-demo-cq
spec:
namespaceSelector: {}
queueingStrategy: BestEffortFIFO
preemption:
withinClusterQueue: LowerPriority
resourceGroups:
- coveredResources:
- cpu
flavors:
- name: aks-cpu
resources:
- name: cpu
nominalQuota: "3"
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: LocalQueue
metadata:
name: kueue-demo-queue
namespace: kueue-demo
spec:
clusterQueue: kueue-demo-cq
Apply the configuration:
kubectl apply -f kueue-demo.yaml
使用工作负载优先级和抢占功能
将工作负荷提交到 LocalQueue 时,可以分配其中一个托管工作负荷优先级类:
- 对于应优先于低优先级工作获得受限队列容量的工作负荷,请使用
aks-high-priority。 - 对于具有标准优先级要求的工作负荷,请使用
aks-medium-priority。 - 当队列容量受限时,对于可以等待的工作负载,请使用
aks-low-priority。
配置 withinClusterQueue 到 LowerPriority时,当两个工作负荷都需要相同 ClusterQueue配额时,高优先级工作负荷可能会抢占低优先级的工作负荷。 当配额再次可用时,低优先级工作负荷仍符合准入条件。
此方法允许使用 AKS 管理的 ResourceFlavors 和优先级类,而无需创建和维护自定义 ResourceFlavor 或工作负荷优先级资源。
后续步骤
使用自动生成的 ResourceFlavor 和默认优先级类配置 ClusterQueue 和 LocalQueue 后,使用配置的队列提交和计划工作负荷。