使用 Azure Kubernetes 舰队管理器跨多个群集协调更新

项目
08/05/2024

管理具有大量群集的 Kubernetes 舰队的平台管理员通常无法以安全且可预测的方式在多个群集之间暂存更新。为了解决此难题，Kubernetes 舰队管理器（舰队）允许使用更新运行、阶段、组和策略跨多个群集协调更新。

先决条件

请阅读有关此功能的概念性概述，其中提供了有关本文档中引用的更新策略、运行、阶段和组的说明。
必须具有包含一个或多个成员群集的舰队资源。如果没有，请按照快速入门创建舰队资源，并将 Azure Kubernetes 服务 (AKS) 群集加入为成员。本演练演示了一种舰队资源，其中以五个 AKS 成员群集作为示例。

设置以下环境变量：

export GROUP=<resource-group>
export FLEET=<fleet-name>

如果要按照本文中的 Azure CLI 说明操作，则需要安装 Azure CLI 版本 2.53.1 或更高版本。若要安装或升级，请参阅安装 Azure CLI。
你还需要 Azure CLI 扩展 fleet，可以通过运行以下命令来安装该扩展：
```
az extension add --name fleet
```
运行以下命令以更新到已发布的最新扩展版本：
```
az extension update --name fleet
```

注意

更新运行遵循在 AKS 群集级别设置的计划内维护时段。有关详细信息，请参阅跨多个成员群集的计划内维护，其中说明了更新运行如何处理配置了计划内维护时段的成员群集。

更新运行支持两个升级群集的顺序选项：

逐个：如果你不想控制群集的升级顺序，one-by-one 提供了一种简单的方法来按顺序逐个升级舰队的所有成员群集
使用更新组和阶段控制群集顺序 - 如果要控制升级群集的顺序，则可以在更新组和更新阶段中组织成员群集。此外，此顺序可以以更新策略的形式存储为模板。稍后可以从更新策略创建更新运行，而无需每次创建更新运行时根据阶段定义顺序。

在 Azure Kubernetes 舰队管理器资源页上，转到“多群集更新”菜单，然后选择“创建”。
选择“逐个”可按顺序升级舰队的所有成员群集。
对于“升级范围”，可以选择以下三个选项之一：
- 控制平面和节点池的 Kubernetes 版本
- 仅群集控制平面的 Kubernetes 版本
- 仅节点映像版本
对于节点映像，可以使用以下选项：
- 最新：将更新运行中的每个 AKS 群集更新为该群集在其区域内可用的最新映像。
- 一致：更新运行中的 AKS 群集有可能跨多个区域，而这些区域的最新可用节点映像可能不同（有关更多信息，请查看发布跟踪器）。更新运行会在所有这些区域中选取最新的共同映像，以实现一致性。

创建更新运行：

运行以下命令来逐个更新舰队的所有群集的 Kubernetes 版本和节点映像版本：

az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-1 --upgrade-type Full --kubernetes-version 1.26.0

运行以下命令，仅逐个更新舰队所有成员群集的控制平面的 Kubernetes 版本：

az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-2 --upgrade-type ControlPlaneOnly --kubernetes-version 1.26.0

运行以下命令，以便仅逐个更新舰队的所有群集的节点映像版本：

az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-3 --upgrade-type NodeImageOnly

创建更新运行时，可以控制更新运行的范围。 --upgrade-type 标志支持以下值：

ControlPlaneOnly 仅升级群集控制平面的 Kubernetes 版本。
Full 升级控制平面和节点池的 Kubernetes 版本以及节点映像。
NodeImageOnly 仅升级节点映像。

此外，--node-image-selection 标志支持以下值：

最新：将更新运行中的每个 AKS 群集更新为该群集在其区域内可用的最新映像。
一致：更新运行中的 AKS 群集有可能跨多个区域，而这些区域的最新可用节点映像可能不同（有关更多信息，请查看发布跟踪器）。更新运行会在所有这些区域中选取最新的共同映像，以实现一致性。

启动更新运行：

若要启动更新运行，请运行以下命令：

az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name <run-name>

按特定顺序更新群集

更新组和阶段可以更好地控制在你更新群集时更新运行所遵循的顺序。在更新阶段中，更新将并行应用于所有不同的更新组；在更新组中，成员群集按顺序更新。

将群集分配到更新组

可以通过以下两种方式之一将成员群集分配到特定的更新组。

在将成员群集添加到舰队时分配给组。例如：

Azure 门户
Azure CLI

在 Azure Kubernetes 舰队管理器资源的页面上，转到“成员群集”。
指定成员群集应所属的更新组。

az fleet member create --resource-group $GROUP --fleet-name $FLEET --name member1 --member-cluster-id $AKS_CLUSTER_ID --update-group group-1a

第二种方法是将现有舰队成员分配到更新组。例如：

Azure 门户
Azure CLI

在 Azure Kubernetes 舰队管理器资源的页面上，导航到“成员群集”。选择所需的成员群集，然后选择“分配更新组”。
指定组名称，然后选择“分配”。

az fleet member update --resource-group $GROUP --fleet-name $FLEET --name member1 --update-group group-1a

注意

任何舰队成员只能加入一个更新组，但一个更新组内可以有多个舰队成员。更新组本身不是一种单独的资源类型。更新组只是表示来自舰队成员的引用的字符串。因此，如果删除了所有引用共同更新组的舰队成员，那么该特定更新组也将不复存在。

定义更新运行和阶段

可以使用更新阶段定义更新运行，以便按顺序将更新应用程序应用到不同的更新组。例如，第一个更新阶段可能会更新测试环境成员群集，第二个更新阶段稍后将更新生产环境成员群集。还可以指定各个更新阶段之间的等待时间。

Azure 门户
Azure CLI

在 Azure Kubernetes 舰队管理器资源的页面上，导航到“多群集更新”。在“运行”选项卡下选择“创建”。
为更新运行指定一个名称，然后选择“阶段”作为更新顺序类型。
选择“创建阶段”。现在可以指定阶段名称和每个阶段结束之后要等待的持续时间。
选择要在此阶段中包含的更新组。
定义所有阶段后，可以使用“上移”和“下移”控件对其进行排序。
对于“升级范围”，可以选择以下三个选项之一：
- 控制平面和节点池的 Kubernetes 版本
- 仅群集控制平面的 Kubernetes 版本
- 仅节点映像版本
对于节点映像，可以使用以下选项：
- 最新：将更新运行中的每个 AKS 群集更新为该群集在其区域内可用的最新映像。
- 一致：更新运行中的 AKS 群集有可能跨多个区域，而这些区域的最新可用节点映像可能不同（有关更多信息，请查看发布跟踪器）。更新运行会在所有这些区域中选取最新的共同映像，以实现一致性。
单击页面底部的“创建”以创建更新运行。每次创建更新运行时都指定阶段及其顺序可能会变得重复且繁琐。更新策略可通过允许存储更新运行模板来简化这一过程。有关详细信息，请参阅更新策略的创建和使用。
在“多群集更新”菜单中，选择更新运行，然后选择“启动”。

运行以下命令来创建更新运行：

az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-4 --upgrade-type Full --kubernetes-version 1.26.0 --stages example-stages.json

下面是来自阶段文件 (example-stages.json) 的输入示例：

{
    "stages": [
        {
            "name": "stage1",
            "groups": [
                {
                    "name": "group-1a"
                },
                {
                    "name": "group-1b"
                },
                {
                    "name": "group-1c"
                }
            ],
            "afterStageWaitInSeconds": 3600
        },
        {
            "name": "stage2",
            "groups": [
                {
                    "name": "group-2a"
                },
                {
                    "name": "group-2b"
                },
                {
                    "name": "group-2c"
                }
            ]
        }
    ]
}

创建更新运行时，可以控制更新运行的范围。 --upgrade-type 标志支持以下值：

ControlPlaneOnly 仅升级群集控制平面的 Kubernetes 版本。
Full 升级控制平面和节点池的 Kubernetes 版本以及节点映像。
NodeImageOnly 仅升级节点映像。

此外，--node-image-selection 标志支持以下值：

最新：将更新运行中的每个 AKS 群集更新为该群集在其区域内可用的最新映像。
一致：更新运行中的 AKS 群集有可能跨多个区域，而这些区域的最新可用节点映像可能不同（有关更多信息，请查看发布跟踪器）。更新运行会在所有这些区域中选取最新的共同映像，以实现一致性。

运行以下命令来启动此更新运行：

az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name run-4

使用更新策略创建更新运行

创建更新运行需要每次都指定阶段、组及其顺序。更新策略可通过允许存储更新运行模板来简化这一过程。

注意

可以通过同一更新策略创建多个更新运行，并使用唯一的名称。

Azure 门户
Azure CLI

创建更新策略：可通过两种方法创建更新策略：

方法 1：在创建更新运行时保存更新策略。
方法 2：可以导航到“多群集更新”，然后在“策略”选项卡下选择“创建”。

使用更新策略创建更新运行：稍后可以在创建新的后续更新运行时引用创建的更新策略：

运行以下命令创建新的更新策略：

az fleet updatestrategy create --resource-group $GROUP --fleet-name $FLEET --name strategy-1 --stages example-stages.json

运行以下命令创建引用此策略的更新运行：

az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-5 --update-strategy-name strategy-1 --upgrade-type NodeImageOnly --node-image-selection Consistent

管理更新运行

有几个选项可用于管理更新运行：

Azure 门户
Azure CLI

在舰队资源的“多群集更新”选项卡下，可以启动处于“未启动”或“失败”状态的更新运行。
在舰队资源的“多群集更新”选项卡下，可以停止当前正在运行的更新运行。
在处于“未启动”、“失败”或“运行”状态的任何更新中，可以选择任何阶段并跳过升级。

同样，也可以在更新组或成员群集级别跳过升级。

有关详细信息，请参阅有关更新运行状态和运行/阶段/组的跳过行为的概念性概述。

可以启动处于“未启动”或“失败”状态的更新运行：

az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name <run-name>

可以停止当前正在运行的更新运行：

az fleet updaterun stop --resource-group $GROUP --fleet-name $FLEET --name <run-name>

可以通过在 skip 命令的目标下指定更新阶段或组来跳过更新阶段或组：
```
az fleet updaterun skip --resource-group $GROUP --fleet-name $FLEET --name <run-name> --targets Group:my-group-name Stage:my-stage-name
```
有关详细信息，请参阅有关更新运行状态和运行/阶段/组的跳过行为的概念性概述。

通过