教程：将 GitOps 与 Flux v2 配合使用来部署应用程序

已启用 Azure Arc 的 Kubernetes 群集

• 已启用Azure Arc的 Kubernetes 连接群集，该群集正在运行。 从 microsoft.flux 版本 1.7.0 开始，支持基于 ARM64 的群集。

  了解如何将 Kubernetes 集群连接到 Azure Arc。如果需要通过出口代理服务器进行连接，请确保使用代理服务器设置安装 Arc 代理程序。

• 对 Microsoft.Kubernetes/connectedClusters 资源类型的读写权限。

Azure Kubernetes Service 群集

• 正在运行的基于 MSI 的 AKS 群集。

  重要

  确保使用 MSI（而不是 SPN）创建 AKS 群集，因为 microsoft.flux 扩展不适用于基于 SPN 的 AKS 群集。 对于使用 az aks create 创建的新 AKS 群集，群集默认基于 MSI。 若要将基于 SPN 的群集转换为 MSI，请运行 az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity。 有关详细信息，请参阅在 AKS 中使用托管标识。

• 对 Microsoft.ContainerService/managedClusters 资源类型的读写权限。

对这两种群集类型通用

• 对这些资源类型的读取和写入权限：

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Azure CLI 2.15 或更高版本。 安装 Azure CLI 或使用以下命令更新到最新版本：

  az version
  az upgrade
  

• Kubernetes 命令行客户端 kubectl。

  使用kubectl命令在本地安装az aks install-cli。

  az aks install-cli
  

• 注册以下 Azure 资源提供程序：

  az provider register --namespace Microsoft.Kubernetes
  az provider register --namespace Microsoft.ContainerService
  az provider register --namespace Microsoft.KubernetesConfiguration
  

  注册是一个异步过程，在 10 分钟内应会完成。 可以使用以下命令来监视注册过程：

  az provider show -n Microsoft.KubernetesConfiguration -o table
  
  Namespace                          RegistrationPolicy    RegistrationState
  --------------------------------- --------------------  -------------------
  Microsoft.KubernetesConfiguration  RegistrationRequired  Registered
  

版本和区域支持

在所有Azure Arc支持的启用Kubernetes的区域, 目前都支持GitOps。 目前，AKS 所支持的一部分区域支持 GitOps。 GitOps 服务会定期添加新的受支持区域。

支持 Flux v2 扩展的最新版本和前两个版本 (N-2)。 我们通常建议使用最新版本的扩展。

网络要求

GitOps 代理必须通过出站（出口）TCP 连接到端口 22 (SSH) 或端口 443 (HTTPS) 上的存储库源才能正常运行。 代理还需要对以下出站 URL 的访问权限：

启用 CLI 扩展

安装最新的 k8s-configuration 和 k8s-extension CLI 扩展包：

az extension add -n k8s-configuration
az extension add -n k8s-extension

将这些包更新到最新版本：

az extension update -n k8s-configuration
az extension update -n k8s-extension

若要查看所有已安装的Azure CLI扩展及其版本的列表，请使用以下命令：

az extension list -o table

Experimental   ExtensionType   Name                   Path                                                       Preview   Version
-------------  --------------  -----------------      -----------------------------------------------------      --------  --------
False          whl             connectedk8s           C:\Users\somename\.azure\cliextensions\connectedk8s         False     1.2.7
False          whl             k8s-configuration      C:\Users\somename\.azure\cliextensions\k8s-configuration    False     1.5.0
False          whl             k8s-extension          C:\Users\somename\.azure\cliextensions\k8s-extension        False     1.1.0

已启用 Azure Arc 的 Kubernetes 群集

• 已启用Azure Arc的 Kubernetes 连接群集，该群集正在运行。 从 microsoft.flux 版本 1.7.0 开始，支持基于 ARM64 的群集。

  了解如何将 Kubernetes 集群连接到 Azure Arc。如果需要通过出口代理服务器进行连接，请确保使用代理服务器设置安装 Arc 代理程序。

• 对 Microsoft.Kubernetes/connectedClusters 资源类型的读写权限。

Azure Kubernetes Service 群集

• 正在运行的基于 MSI 的 AKS 群集。

  重要

  确保使用 MSI（而不是 SPN）创建 AKS 群集，因为 microsoft.flux 扩展不适用于基于 SPN 的 AKS 群集。 对于使用的新 az aks createAKS 群集，群集默认基于 MSI。 对于要转换为 MSI 的现有基于 SPN 的群集，请运行 az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity。 有关详细信息，请参阅在 AKS 中使用托管标识。

• 对 Microsoft.ContainerService/managedClusters 资源类型的读写权限。

对这两种群集类型通用

• 对这些资源类型的读取和写入权限：

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• 以下 Azure 资源提供程序的注册：

  • Microsoft.ContainerService (微软容器服务)
  • Microsoft.Kubernetes
  • Microsoft.KubernetesConfiguration

版本和区域支持

在所有Azure Arc支持的启用Kubernetes的区域, 目前都支持GitOps。 目前，AKS 所支持的一部分区域支持 GitOps。 GitOps 服务会定期添加新的受支持区域。

支持 Flux v2 扩展的最新版本和前两个版本 (N-2)。 我们通常建议使用最新版本的扩展。

网络要求

GitOps 代理必须通过出站（出口）TCP 连接到端口 22 (SSH) 或端口 443 (HTTPS) 上的存储库源才能正常运行。 代理还需要对以下出站 URL 的访问权限：

以下示例通过 az k8s-configuration flux create 命令使用以下值和设置将 Flux 配置应用于群集：

• 包含群集的资源组是 flux-demo-rg。
• Azure Arc群集的名称为 flux-demo-arc。
• 群集类型Azure Arc（-t connectedClusters），但此示例也适用于 AKS（-t managedClusters）。
• Flux 配置名称是 cluster-config。
• 用于配置安装的命名空间是 cluster-config。
• 公共 Git 存储库的 URL https://github.com/Azure/gitops-flux2-kustomize-helm-mt。
• Git 存储库分支是 main。
• 配置范围是 cluster。 此范围授予操作员在整个群集中进行更改的权限。 若要在本教程中使用 namespace 范围，请参阅所需的变更。
• 使用名称 infra 和 apps 指定两个 kustomization。 每个与存储库中的某条路径相关联。
• apps kustomization 取决于 infra kustomization。 （必须先完成 infra kustomization，然后才能运行 apps kustomization。）
• 在两个 kustomization 上设置 prune=true。 此设置确保，如果 Flux 部署到集群的对象被从存储库中移除，或者 Flux 配置或 Kustomize 配置被删除，这些对象会被自动清除。

az k8s-configuration flux create -g flux-demo-rg \
-c flux-demo-arc \
-n cluster-config \
--namespace cluster-config \
-t connectedClusters \
--scope cluster \
-u https://github.com/Azure/gitops-flux2-kustomize-helm-mt \
--branch main  \
--kustomization name=infra path=./infrastructure prune=true \
--kustomization name=apps path=./apps/staging prune=true dependsOn=\["infra"\]

microsoft.flux 扩展安装在群集上（如果尚未在之前的 GitOps 部署中安装）。

首次安装 flux 配置时，初始符合性状态可能是 Pending 或 Non-compliant 因为对帐仍在进行中。 一分钟后，可以再次查询配置并查看最终的符合性状态。

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

若要确认部署是否成功，请运行以下命令：

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

成功部署后，将创建以下命名空间：

• flux-system：保留 Flux 扩展控制器。
• cluster-config：保存 Flux 配置对象。
• nginx、podinfo、redis：Git 存储库的清单中描述的工作负载的命名空间。

若要确认命名空间，请运行以下命令：

kubectl get namespaces

flux-system 命名空间包含 Flux 扩展对象：

• Azure Flux 控制器：fluxconfig-agent、fluxconfig-controller
• OSS Flux 控制器：source-controller、kustomize-controller、helm-controller、notification-controller

Flux 代理和控制器 Pod 应处于正在运行状态。 使用以下命令确认这一点：

kubectl get pods -n flux-system

NAME                                      READY   STATUS    RESTARTS   AGE
fluxconfig-agent-9554ffb65-jqm8g          2/2     Running   0          21m
fluxconfig-controller-9d99c54c8-nztg8     2/2     Running   0          21m
helm-controller-59cc74dbc5-77772          1/1     Running   0          21m
kustomize-controller-5fb7d7b9d5-cjdhx     1/1     Running   0          21m
notification-controller-7d45678bc-fvlvr   1/1     Running   0          21m
source-controller-df7dc97cd-4drh2         1/1     Running   0          21m

命名空间 cluster-config 包含 Flux 配置对象。

kubectl get crds

NAME                                                   CREATED AT
alerts.notification.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
arccertificates.clusterconfig.azure.com                2022-03-28T21:45:19Z
azureclusteridentityrequests.clusterconfig.azure.com   2022-03-28T21:45:19Z
azureextensionidentities.clusterconfig.azure.com       2022-03-28T21:45:19Z
buckets.source.toolkit.fluxcd.io                       2022-04-06T17:15:48Z
connectedclusters.arc.azure.com                        2022-03-28T21:45:19Z
customlocationsettings.clusterconfig.azure.com         2022-03-28T21:45:19Z
extensionconfigs.clusterconfig.azure.com               2022-03-28T21:45:19Z
fluxconfigs.clusterconfig.azure.com                    2022-04-06T17:15:48Z
gitconfigs.clusterconfig.azure.com                     2022-03-28T21:45:19Z
gitrepositories.source.toolkit.fluxcd.io               2022-04-06T17:15:48Z
helmcharts.source.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmreleases.helm.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmrepositories.source.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imagepolicies.image.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
imagerepositories.image.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imageupdateautomations.image.toolkit.fluxcd.io         2022-04-06T17:15:48Z
kustomizations.kustomize.toolkit.fluxcd.io             2022-04-06T17:15:48Z
providers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
receivers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
volumesnapshotclasses.snapshot.storage.k8s.io          2022-03-28T21:06:12Z
volumesnapshotcontents.snapshot.storage.k8s.io         2022-03-28T21:06:12Z
volumesnapshots.snapshot.storage.k8s.io                2022-03-28T21:06:12Z
websites.extensions.example.com                        2022-03-30T23:42:32Z

使用以下命令确认配置的其他详细信息。

kubectl get fluxconfigs -A

NAMESPACE        NAME             SCOPE     URL                                                       PROVISION   AGE
cluster-config   cluster-config   cluster   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   Succeeded   44m

kubectl get gitrepositories -A

NAMESPACE        NAME             URL                                                       READY   STATUS                                                            AGE
cluster-config   cluster-config   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   True    Fetched revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   45m

kubectl get helmreleases -A

NAMESPACE        NAME      READY   STATUS                             AGE
cluster-config   nginx     True    Release reconciliation succeeded   66m
cluster-config   podinfo   True    Release reconciliation succeeded   66m
cluster-config   redis     True    Release reconciliation succeeded   66m

kubectl get kustomizations -A

NAMESPACE        NAME                   READY   STATUS                                                            AGE
cluster-config   cluster-config-apps    True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m
cluster-config   cluster-config-infra   True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m

工作负载是从 Git 存储库中的清单部署的。

kubectl get deploy -n nginx

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller                   1/1     1            1           67m
nginx-ingress-controller-default-backend   1/1     1            1           67m

kubectl get deploy -n podinfo

NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           68m

kubectl get all -n redis

NAME                 READY   STATUS    RESTARTS   AGE
pod/redis-master-0   1/1     Running   0          68m

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/redis-headless   ClusterIP   None          <none>        6379/TCP   68m
service/redis-master     ClusterIP   10.0.13.182   <none>        6379/TCP   68m

NAME                            READY   AGE
statefulset.apps/redis-master   1/1     68m

控制使用 Flux 群集扩展部署哪些控制器

在某些情况下，你可能想要使用 Flux 群集扩展更改安装了哪些 Flux 控制器。

默认情况下，安装过程包括 source、helm和 kustomizenotification Flux 控制器。 必须显式启用image-automation和image-reflector控制器，这些控制器可在新的容器映像可用时更新 Git 存储库。

可以使用 k8s-extension 命令更改默认选项：

• --config source-controller.enabled=<true/false>（默认为 true）
• --config helm-controller.enabled=<true/false>（默认为 true）
• --config kustomize-controller.enabled=<true/false>（默认为 true）
• --config notification-controller.enabled=<true/false>（默认为 true）
• --config image-automation-controller.enabled=<true/false>（默认为 false）
• --config image-reflector-controller.enabled=<true/false>（默认为 false）

例如，将notification-controller.enabled设置为false以禁用通知。

以下命令安装 image-reflector 和 image-automation 控制器。 如果在创建 Flux 配置时自动创建 Flux 扩展，则扩展名称为 flux。

az k8s-extension create -g <cluster_resource_group> -c <cluster_name> -t <connectedClusters or managedClusters or provisionedClusters> --name flux --extension-type microsoft.flux --config image-automation-controller.enabled=true image-reflector-controller.enabled=true

将 Kubelet 标识用作 AKS 群集的身份验证方法

对于 AKS 群集，一个身份验证选项是 kubelet 标识。 默认情况下，AKS 在托管资源组中创建自己的 kubelet 标识。 如果需要，可以使用预先创建的 kubelet 托管标识。 若要使用此标识，请在安装 Flux 扩展时添加参数 --config useKubeletIdentity=true 。

az k8s-extension create --resource-group <resource-group> --cluster-name <cluster-name> --cluster-type managedClusters --name flux --extension-type microsoft.flux --config useKubeletIdentity=true

Red Hat OpenShift 载入指南

Flux 控制器需要非根安全上下文约束才能在群集上正确预配 Pod。 在部署 microsoft.flux 扩展之前，将这些约束添加到群集。

NS="flux-system"
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:kustomize-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:helm-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:source-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:notification-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-automation-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-reflector-controller

有关载入 Flux 的 OpenShift 指南的详细信息，请参阅 Flux 文档。

Azure门户可用于管理已启用 Azure Arc 的 Kubernetes 或 AKS 群集中的 GitOps 配置和 Flux 扩展。 在Azure门户中，可以看到与每个群集关联的所有 Flux 配置，并获取详细信息，包括每个群集的总体符合性状态。

按照以下步骤将示例 Flux 配置应用于群集。 在此过程中，Azure在群集上安装 microsoft.flux 扩展（如果尚未在以前的部署中安装）。

1. 在Azure门户中导航到群集。

2. 在服务菜单中的 “设置”下，选择 “GitOps”。

3. 选择 创建。

4. 在“基本信息”部分中：

   1. 输入配置的名称。
   2. 输入在其中安装 Flux 自定义资源的命名空间。 可以使用现有命名空间，或指定要在部署配置时创建的新命名空间。
   3. 在“范围”下选择“群集”，以便 Flux 操作员有权将配置应用于群集中的所有命名空间。 若要在本教程中使用 namespace 范围，请参阅所需的变更。
   4. 选择“下一步”转到“源”部分。

   显示 Azure portal 中 GitOps 配置的“基本信息”选项的截图。

5. 在“源”部分中：

   1. 在“源类型”中，选择“Git 存储库”。
   2. 输入 Kubernetes 清单所在的存储库的 URL：https://github.com/Azure/gitops-flux2-kustomize-helm-mt。
   3. 对于引用类型，请选择“分支”。 将“分支”设置为“主”。
   4. 对于“存储库类型”，选择“公共”。
   5. 将其他选项设置为默认值，然后选择“ 下一步”。

   

6. 在 Kustomizations 节中，创建两个 kustomizations：infrastructure 和 staging。 这些 kustomization 都是 Flux 资源，每个资源都与存储库中的路径相关联，表示 Flux 应与群集対帐的清单集。

   1. 选择 创建。

   2. 在“创建 Kustomization”屏幕中：

      1. 对于“实例名称”，请输入“基础结构”。

      2. 对于“路径”，请输入“./infrastructure”。

      3. 选中“删除”框。 此设置确保，如果 Flux 部署到集群的对象被从存储库中移除，或者 Flux 配置或 Kustomize 配置被删除，这些对象会被自动清除。

      4. 保留其他选项，然后选择“ 保存 ”以创建 infrastructure kustomization。

         Screenshot 显示在 Azure 门户中创建基础结构 kustomization 的选项。

   3. 现在，infrastructure Kustomization 显示在“Kustomizations”部分中。 若要创建下一个 kustomization，请再次选择“ 创建 ”。 此过程类似于上一步，但值不同。

   4. 在“创建 Kustomization”屏幕中：

      1. 对于实例名称，请输入staging。
      2. 对于“路径”，请输入“./apps/staging”。
      3. 选中“删除”框。
      4. 在“依赖于”框中，选择“基础结构”。
      5. 保留其他选项，然后选择“ 保存 ”以创建 staging kustomization。

   5. 现在，应会看到“Kustomizations”部分中显示的两个 kustomization。 选择下一步继续操作。

7. 查看在前面的步骤中选择的选项。 然后选择“创建”以完成 GitOps 配置的创建。

查看配置和对象

若要查看群集的所有配置，请导航到群集，然后在服务菜单中选择“GitOps”。

选择配置的名称以查看更多详细信息，例如配置的状态、属性和源。 选择 配置对象 以查看启用 GitOps 配置的所有对象，包括符合性状态以及有关每个对象的其他详细信息。

若要查看配置对象的详细条件，请选择其名称。

此截图显示了 Azure 门户中配置对象的条件详细信息。

有关详细信息，请参阅监视 GitOps (Flux v2) 状态与活动。

删除 Flux 配置

以下命令删除Azure中的 fluxConfigurations 资源以及群集中的 Flux 配置对象。 由于 Flux 配置最初是通过使用 prune=true 参数进行 kustomization（自定义配置）创建的，因此会删除基于 Git 存储库中的清单在群集中所创建的所有对象以及这些 Flux 配置。 但是，此命令不会移除 Flux 扩展本身。

az k8s-configuration flux delete -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters --yes

删除 Flux 群集扩展

删除 Flux 扩展时，该命令删除 Azure 中的 microsoft.flux 扩展资源以及群集中的 Flux 扩展对象。

如果 Flux 扩展是在首次创建 Flux 配置时自动创建的，扩展名称将是 flux。

az k8s-extension delete -g flux-demo-rg -c flux-demo-arc -n flux -t connectedClusters --yes

删除 Flux 配置

若要删除 Flux 配置，请转到在其中创建了配置的群集。 在服务菜单中的“设置”下，选择“GitOps”。 选择要删除的配置。 在页面顶部，选择“ 删除”，然后再次选择“ 删除 ”以确认。

删除 Flux 配置时，删除群集中的所有 Flux 配置对象。 但是，此操作不会删除 microsoft.flux 扩展本身。

删除 Flux 群集扩展

删除 Flux 扩展时，该命令删除 Azure 中的 microsoft.flux 扩展资源以及群集中的 Flux 扩展对象。

对于启用了 Azure Arc 的 Kubernetes 集群，请访问该集群。 在服务菜单中的“设置”下，选择“扩展”。 选择 flux 扩展并选择 “卸载”，然后确认删除。

对于 AKS 群集，无法使用Azure门户删除扩展。 请改用以下Azure CLI命令：

az k8s-extension delete -g <resource-group> -c <cluster-name> -n flux -t managedClusters --yes