教程：在已启用 Azure Arc 的 Kubernetes 群集上使用 GitOps 部署配置

在本教程中，你将在已启用 Azure Arc 的 Kubernetes 群集上使用 GitOps 应用 Flux v1 配置。 将了解如何执行以下操作：

• 具有活动订阅的 Azure 帐户。 创建试用版订阅。

• 一个现有的已启用 Azure Arc 的 Kubernetes 连接的群集。 如果尚未连接群集，请参阅连接已启用 Azure Arc 的 Kubernetes 群集快速入门。

• 安装 1.0.0 或更高版本的 k8s-configuration Azure CLI 扩展：

  az extension add --name k8s-configuration
  

  提示

  如果已安装 k8s-configuration 扩展，则可以使用以下命令将其更新到最新版本：az extension update --name k8s-configuration

本文中使用的示例存储库是围绕群集运算符的角色构建的。 此存储库中的清单会预配几个命名空间、部署工作负载并提供一些特定于团队的配置。 将此存储库与 GitOps 一起使用会在群集上创建以下资源：

• 命名空间：cluster-config、team-a、team-b
• 部署：arc-k8s-demo
• ConfigMap：team-a/endpoints

config-agent 会轮询 Azure 以查找新的或更新的配置。 此任务最多需要 5 分钟。

如果要将专用存储库与该配置关联，请完成应用专用 Git 存储库中的配置中的以下步骤。

使用 k8s-configuration 的 Azure CLI 扩展，将连接的群集链接到示例 Git 存储库。

1. 将此配置命名为 cluster-config。

2. 指示代理在 cluster-config 命名空间中部署运算符。

3. 授予该运算符 cluster-admin 权限。

   az k8s-configuration flux create --name cluster-config --cluster-name AzureArcTest1 --resource-group AzureArcTest --operator-instance-name cluster-config --operator-namespace cluster-config --repository-url https://github.com/Azure/arc-k8s-demo --scope cluster --cluster-type connectedClusters
   

   {
     "complianceStatus": {
     "complianceState": "Pending",
     "lastConfigApplied": "0001-01-01T00:00:00",
     "message": "{\"OperatorMessage\":null,\"ClusterState\":null}",
     "messageLevel": "3"
     },
     "configurationProtectedSettings": {},
     "enableHelmOperator": false,
     "helmOperatorProperties": null,
     "id": "/subscriptions/<sub id>/resourceGroups/<group name>/providers/Microsoft.Kubernetes/connectedClusters/<cluster name>/providers/Microsoft.KubernetesConfiguration/sourceControlConfigurations/cluster-config",
     "name": "cluster-config",
     "operatorInstanceName": "cluster-config",
     "operatorNamespace": "cluster-config",
     "operatorParams": "--git-readonly",
     "operatorScope": "cluster",
     "operatorType": "Flux",
     "provisioningState": "Succeeded",
     "repositoryPublicKey": "",
     "repositoryUrl": "https://github.com/Azure/arc-k8s-demo",
     "resourceGroup": "MyRG",
     "sshKnownHostsContents": "",
     "systemData": {
       "createdAt": "2020-11-24T21:22:01.542801+00:00",
       "createdBy": null,
       "createdByType": null,
       "lastModifiedAt": "2020-11-24T21:22:01.542801+00:00",
       "lastModifiedBy": null,
       "lastModifiedByType": null
     },
     "type": "Microsoft.KubernetesConfiguration/sourceControlConfigurations"
   }
   

将 Flux 生成的公钥添加到 Git 服务提供程序中的用户帐户。 如果将密钥添加到存储库而不是用户帐户，请在 URL 中使用 git@ 替代 user@。

有关更多详细信息，请跳转到应用专用 Git 存储库中的配置部分。

直接或在文件中提供自己的私钥。 此密钥必须采用 PEM 格式，并以换行符 (\n) 结束。

将关联的公钥添加到 Git 服务提供程序中的用户帐户。 如果将密钥添加到存储库而不是用户帐户，请使用 git@ 替代 user@。

有关更多详细信息，请跳转到应用专用 Git 存储库中的配置部分。

在建立 SSH 连接之前，Flux 运算符会在其已知主机文件中维护一个常用的 Git 主机列表，以对 Git 存储库进行身份验证。 如果使用的是不常用的 Git 存储库或自己的 Git 主机，则可以提供主机密钥，这样 Flux 就可以识别你的存储库。

与私钥一样，可直接或在文件中提供 known_hosts 内容。 提供自己的内容时，请使用 known_hosts 内容格式规范，以及上述任一 SSH 密钥方案。

使用以下可选参数自定义配置：

如果不希望 Flux 写入存储库，并且未设置 --git-user 或 --git-email，则将自动设置 --git-readonly。

有关详细信息，请参阅 Flux 文档。

使用 Azure CLI 验证配置是否已创建成功。

az k8s-configuration flux show --name cluster-config --cluster-name AzureArcTest1 --resource-group AzureArcTest --cluster-type connectedClusters

将使用合规性状态、消息和调试信息更新配置资源。

{
  "complianceStatus": {
    "complianceState": "Installed",
    "lastConfigApplied": "2020-12-10T18:26:52.801000+00:00",
    "message": "...",
    "messageLevel": "Information"
  },
  "configurationProtectedSettings": {},
  "enableHelmOperator": false,
  "helmOperatorProperties": {
    "chartValues": "",
    "chartVersion": ""
  },
  "id": "/subscriptions/<sub id>/resourceGroups/AzureArcTest/providers/Microsoft.Kubernetes/connectedClusters/AzureArcTest1/providers/Microsoft.KubernetesConfiguration/sourceControlConfigurations/cluster-config",
  "name": "cluster-config",
  "operatorInstanceName": "cluster-config",
  "operatorNamespace": "cluster-config",
  "operatorParams": "--git-readonly",
  "operatorScope": "cluster",
  "operatorType": "Flux",
  "provisioningState": "Succeeded",
  "repositoryPublicKey": "...",
  "repositoryUrl": "git://github.com/Azure/arc-k8s-demo.git",
  "resourceGroup": "AzureArcTest",
  "sshKnownHostsContents": null,
  "systemData": {
    "createdAt": "2020-12-01T03:58:56.175674+00:00",
    "createdBy": null,
    "createdByType": null,
    "lastModifiedAt": "2020-12-10T18:30:56.881219+00:00",
    "lastModifiedBy": null,
    "lastModifiedByType": null
},
  "type": "Microsoft.KubernetesConfiguration/sourceControlConfigurations"
}

当创建或更新配置时，会发生以下情况：

1. Azure Arc config-agent 监视 Azure 资源管理器以查看是否存在新配置或更新的配置 (Microsoft.KubernetesConfiguration/sourceControlConfigurations)，并在出现新的 Pending 配置时发出通知。
2. config-agent 读取配置属性并创建目标命名空间。
3. Azure Arc controller-manager 创建 Kubernetes 服务帐户，并将其映射到 ClusterRoleBinding 或 RoleBinding 以获得相应权限（cluster 或 namespace 范围）。 然后，部署一个 flux 实例。
4. 如果使用 SSH 和 Flux 生成的密钥选项，flux 会生成 SSH 密钥并记录公钥。
5. config-agent将状态报告给 Azure 中的配置资源。

在预配过程中，配置资源会经历几次状态更改。 使用上面的 az k8s-configuration show ... 命令监视进度：

如果使用的是专用 Git 存储库，则需要在存储库中配置 SSH 公钥。 你可以提供 SSH 公钥，也可以令 Flux 生成 SSH 公钥。 可在特定的 Git 存储库或有权访问该存储库的 Git 用户上配置公钥。

如果生成了自己的 SSH 密钥，则已拥有私钥和公钥。

如果 Flux 正在生成密钥，请在 Azure CLI 中使用以下命令。

az k8s-configuration show --resource-group <resource group name> --cluster-name <connected cluster name> --name <configuration name> --cluster-type connectedClusters --query 'repositoryPublicKey' 
"ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAREDACTED"

如果 Flux 正在生成密钥，请在 Azure 门户中执行以下操作。

1. 在 Azure 门户中，导航到已连接的群集资源。
2. 在“资源”页上，选择“GitOps”，并查看此群集的配置列表。
3. 选择使用专用 Git 存储库的配置。
4. 在打开的上下文窗口中，在窗口底部复制“存储库公钥”。

使用以下选项之一：

• 选项 1：将公钥添加到用户帐户（适用于帐户中的所有存储库）：

  1. 打开 GitHub，然后单击该页面右上角的配置文件图标。
  2. 单击“设置” 。
  3. 单击“SSH 和 GPG 密钥”。
  4. 单击“新建 SSH 密钥”。
  5. 提供标题。
  6. 粘贴公钥时不要加引号。
  7. 单击“添加 SSH 密钥”。

• 选项 2：将公钥作为部署密钥添加到 Git 存储库（仅适用于此存储库）：

  1. 打开 GitHub，然后导航到你的存储库。
  2. 单击“设置” 。
  3. 单击“部署密钥”。
  4. 单击“添加部署密钥”。
  5. 提供标题。
  6. 选中“允许写权限”。
  7. 粘贴公钥时不要加引号。
  8. 单击“添加密钥”。

使用以下步骤将密钥添加到 SSH 密钥：

1. 在右上方的“用户设置”下（配置文件映像旁），单击“SSH 公钥” 。
2. 选择“+ 新建密钥”。
3. 提供名称。
4. 粘贴公钥时不要加引号。
5. 单击“添加”。

当 config-agent 安装了 flux 实例之后，Git 存储库中保存的资源应开始流向群集。 检查是否已使用以下命令创建命名空间、部署和资源：

kubectl get ns --show-labels

NAME              STATUS   AGE    LABELS
azure-arc         Active   24h    <none>
cluster-config    Active   177m   <none>
default           Active   29h    <none>
itops             Active   177m   fluxcd.io/sync-gc-mark=sha256.9oYk8yEsRwWkR09n8eJCRNafckASgghAsUWgXWEQ9es,name=itops
kube-node-lease   Active   29h    <none>
kube-public       Active   29h    <none>
kube-system       Active   29h    <none>
team-a            Active   177m   fluxcd.io/sync-gc-mark=sha256.CS5boSi8kg_vyxfAeu7Das5harSy1i0gc2fodD7YDqA,name=team-a
team-b            Active   177m   fluxcd.io/sync-gc-mark=sha256.vF36thDIFnDDI2VEttBp5jgdxvEuaLmm7yT_cuA2UEw,name=team-b

我们可以看到已创建 team-a、team-b、itops 和 cluster-config 命名空间。

根据配置资源的指示，flux 运算符已部署到 cluster-config 命名空间：

kubectl -n cluster-config get deploy  -o wide

NAME             READY   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS   IMAGES                         SELECTOR
cluster-config   1/1     1            1           3h    flux         docker.io/fluxcd/flux:1.16.0   instanceName=cluster-config,name=flux
memcached        1/1     1            1           3h    memcached    memcached:1.5.15               name=memcached

可以使用以下命令了解作为配置存储库的一部分部署的其他资源：

kubectl -n team-a get cm -o yaml
kubectl -n itops get all

使用 Azure CLI 或 Azure 门户删除配置。 运行 delete 命令后，将立即在 Azure 中删除配置资源。 应在 10 分钟内完全删除群集中的关联对象。 如果在删除时配置处于失败状态，则最多可能需要一小时才能完全删除关联对象。

删除具有 namespace 范围的配置时，Azure Arc 不会删除该命名空间，以避免破坏现有工作负载。 如果需要，可以使用 kubectl 手动删除此命名空间。

az k8s-configuration flux delete --name cluster-config --cluster-name AzureArcTest1 --resource-group AzureArcTest --cluster-type connectedClusters

请转到下一教程，了解如何通过 GitOps 实现 CI/CD。