教程：使用 GitOps with Flux v2 部署应用程序

对于已启用 Azure Arc 的 Kubernetes 群集

• 一个已启动并运行的已启用 Azure Arc 的 Kubernetes 连接群集。 从microsoft.flux版本 1.7.0 开始，支持基于 ARM64 的群集。

  了解如何将 Kubernetes 群集连接到 Azure Arc。如果需要通过出站代理进行连接，则确保使用代理设置安装 Arc 代理。

• 对 Microsoft.Kubernetes/connectedClusters 资源类型的读写权限。

对于 Azure Kubernetes 服务群集

• 一个已启动并运行的基于 MSI 的 AKS 群集。

  重要

  确保 AKS 群集是使用 MSI（而不是 SPN）创建的，因为 microsoft.flux 扩展不适用于基于 SPN 的 AKS 群集。 对于使用 az aks create 创建的新 AKS 群集，群集默认基于 MSI。 对于已创建的、需要转换为 MSI 的基于 SPN 的群集，请运行 az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity。 有关详细信息，请参阅在 AKS 中使用托管标识。

• 对 Microsoft.ContainerService/managedClusters 资源类型的读写权限。

通用于上述两种群集类型

• 对这些资源类型的读取和写入权限：

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Azure CLI 2.15 或更高版本。 安装 Azure CLI 或使用以下命令更新到最新版本：

  az version
  az upgrade
  

• Kubernetes 命令行客户端 kubectl。

  在本地使用 az aks install-cli 命令安装 kubectl：

  az aks install-cli
  

• 注册以下 Azure 资源提供程序：

  az provider register --namespace Microsoft.Kubernetes
  az provider register --namespace Microsoft.ContainerService
  az provider register --namespace Microsoft.KubernetesConfiguration
  

  注册是一个异步过程，在 10 分钟内应会完成。 可以使用以下命令来监视注册过程：

  az provider show -n Microsoft.KubernetesConfiguration -o table
  
  Namespace                          RegistrationPolicy    RegistrationState
  --------------------------------- --------------------  -------------------
  Microsoft.KubernetesConfiguration  RegistrationRequired  Registered
  

版本和区域支持

目前，已启用 Azure Arc 的 Kubernetes 所支持的所有区域都支持 GitOps。 目前，AKS 所支持的一部分区域支持 GitOps。 GitOps 服务会定期添加新的受支持区域。

支持 Flux v2 扩展的最新版本和前两个版本 (N-2)。 我们通常建议使用最新版本的扩展。

网络要求

GitOps 代理必须通过出站（出口）TCP 连接到端口 22 (SSH) 或端口 443 (HTTPS) 上的存储库源才能正常运行。 代理还需要以下出站 URL 的访问权限：

启用 CLI 扩展

安装最新的 k8s-configuration 和 k8s-extension CLI 扩展包：

az extension add -n k8s-configuration
az extension add -n k8s-extension

将这些包更新到最新版本：

az extension update -n k8s-configuration
az extension update -n k8s-extension

若要查看已安装的 Azure CLI 扩展列表及其版本，请使用以下命令：

az extension list -o table

Experimental   ExtensionType   Name                   Path                                                       Preview   Version
-------------  --------------  -----------------      -----------------------------------------------------      --------  --------
False          whl             connectedk8s           C:\Users\somename\.azure\cliextensions\connectedk8s         False     1.2.7
False          whl             k8s-configuration      C:\Users\somename\.azure\cliextensions\k8s-configuration    False     1.5.0
False          whl             k8s-extension          C:\Users\somename\.azure\cliextensions\k8s-extension        False     1.1.0

对于已启用 Azure Arc 的 Kubernetes 群集

• 一个已启动并运行的已启用 Azure Arc 的 Kubernetes 连接群集。 从microsoft.flux版本 1.7.0 开始，支持基于 ARM64 的群集。

  了解如何将 Kubernetes 群集连接到 Azure Arc。如果需要通过出站代理进行连接，则确保使用代理设置安装 Arc 代理。

• 对 Microsoft.Kubernetes/connectedClusters 资源类型的读写权限。

对于 Azure Kubernetes 服务群集

• 一个已启动并运行的基于 MSI 的 AKS 群集。

  重要

  确保 AKS 群集是使用 MSI（而不是 SPN）创建的，因为 microsoft.flux 扩展不适用于基于 SPN 的 AKS 群集。 对于使用 az aks create 创建的新 AKS 群集，群集默认基于 MSI。 对于已创建的、需要转换为 MSI 的基于 SPN 的群集，请运行 az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity。 有关详细信息，请参阅在 AKS 中使用托管标识。

• 对 Microsoft.ContainerService/managedClusters 资源类型的读写权限。

通用于上述两种群集类型

• 对这些资源类型的读取和写入权限：

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• 注册以下 Azure 资源提供程序：

  • Microsoft.ContainerService
  • Microsoft.Kubernetes
  • Microsoft.KubernetesConfiguration

版本和区域支持

目前，已启用 Azure Arc 的 Kubernetes 所支持的所有区域都支持 GitOps。 目前，AKS 所支持的一部分区域支持 GitOps。 GitOps 服务会定期添加新的受支持区域。

支持 Flux v2 扩展的最新版本和前两个版本 (N-2)。 我们通常建议使用最新版本的扩展。

网络要求

GitOps 代理必须通过出站（出口）TCP 连接到端口 22 (SSH) 或端口 443 (HTTPS) 上的存储库源才能正常运行。 代理还需要以下出站 URL 的访问权限：

以下示例通过 az k8s-configuration create 命令使用以下值和设置将 Flux 配置应用于群集：

• 包含群集的资源组是 flux-demo-rg。
• Azure Arc 群集的名称是 flux-demo-arc。
• 群集类型是 Azure Arc (-t connectedClusters)，但此示例也适用于 AKS (-t managedClusters)。
• Flux 配置名称是 cluster-config。
• 用于配置安装的命名空间是 cluster-config。
• 公共 Git 存储库的 URL 是 https://github.com/Azure/gitops-flux2-kustomize-helm-mt。
• Git 存储库分支是 main。
• 配置范围是 cluster。 此范围授予操作员在整个群集中进行更改的权限。 若要在本教程中使用 namespace 范围，请参阅所需的变更。
• 使用名称 infra 和 apps 指定了两个自定义项。 每个自定义项与存储库中的某个路径相关联。
• apps 自定义项依赖于 infra 自定义项。 （infra 自定义项必须在 apps 自定义项运行之前完成。）
• 在两个自定义项上设置 prune=true。 此设置确保 Flux 部署到群集的对象在从存储库中移除或者删除 Flux 配置或 kustomization 时被清除。

az k8s-configuration flux create -g flux-demo-rg \
-c flux-demo-arc \
-n cluster-config \
--namespace cluster-config \
-t connectedClusters \
--scope cluster \
-u https://github.com/Azure/gitops-flux2-kustomize-helm-mt \
--branch main  \
--kustomization name=infra path=./infrastructure prune=true \
--kustomization name=apps path=./apps/staging prune=true dependsOn=\["infra"\]

microsoft.flux 扩展安装在群集上（如果尚未在之前的 GitOps 部署中安装）。

安装 flux 配置后，初始符合性状态可能是 Pending 或 Non-compliant，因为状态仍在核查中。 一分钟后，可以再次查询配置并查看最终的符合性状态。

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

若要确认部署是否成功，请运行以下命令：

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

成功部署后，将创建以下命名空间：

• flux-system：保存 Flux 扩展控制器。
• cluster-config：保存 Flux 配置对象。
• nginx、podinfo、redis：Git 存储库的清单中描述的工作负载的命名空间。

若要确认命名空间，请运行以下命令：

kubectl get namespaces

flux-system 命名空间包含 Flux 扩展对象：

• Azure Flux 控制器：fluxconfig-agent、fluxconfig-controller
• OSS Flux 控制器：source-controller、kustomize-controller、helm-controller、notification-controller

Flux 代理和控制器 pod 应处于正在运行状态。 使用以下命令确认这一点：

kubectl get pods -n flux-system

NAME                                      READY   STATUS    RESTARTS   AGE
fluxconfig-agent-9554ffb65-jqm8g          2/2     Running   0          21m
fluxconfig-controller-9d99c54c8-nztg8     2/2     Running   0          21m
helm-controller-59cc74dbc5-77772          1/1     Running   0          21m
kustomize-controller-5fb7d7b9d5-cjdhx     1/1     Running   0          21m
notification-controller-7d45678bc-fvlvr   1/1     Running   0          21m
source-controller-df7dc97cd-4drh2         1/1     Running   0          21m

命名空间 cluster-config 包含 Flux 配置对象。

kubectl get crds

NAME                                                   CREATED AT
alerts.notification.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
arccertificates.clusterconfig.azure.com                2022-03-28T21:45:19Z
azureclusteridentityrequests.clusterconfig.azure.com   2022-03-28T21:45:19Z
azureextensionidentities.clusterconfig.azure.com       2022-03-28T21:45:19Z
buckets.source.toolkit.fluxcd.io                       2022-04-06T17:15:48Z
connectedclusters.arc.azure.com                        2022-03-28T21:45:19Z
customlocationsettings.clusterconfig.azure.com         2022-03-28T21:45:19Z
extensionconfigs.clusterconfig.azure.com               2022-03-28T21:45:19Z
fluxconfigs.clusterconfig.azure.com                    2022-04-06T17:15:48Z
gitconfigs.clusterconfig.azure.com                     2022-03-28T21:45:19Z
gitrepositories.source.toolkit.fluxcd.io               2022-04-06T17:15:48Z
helmcharts.source.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmreleases.helm.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmrepositories.source.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imagepolicies.image.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
imagerepositories.image.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imageupdateautomations.image.toolkit.fluxcd.io         2022-04-06T17:15:48Z
kustomizations.kustomize.toolkit.fluxcd.io             2022-04-06T17:15:48Z
providers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
receivers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
volumesnapshotclasses.snapshot.storage.k8s.io          2022-03-28T21:06:12Z
volumesnapshotcontents.snapshot.storage.k8s.io         2022-03-28T21:06:12Z
volumesnapshots.snapshot.storage.k8s.io                2022-03-28T21:06:12Z
websites.extensions.example.com                        2022-03-30T23:42:32Z

使用以下命令确认配置的其他详细信息。

kubectl get fluxconfigs -A

NAMESPACE        NAME             SCOPE     URL                                                       PROVISION   AGE
cluster-config   cluster-config   cluster   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   Succeeded   44m

kubectl get gitrepositories -A

NAMESPACE        NAME             URL                                                       READY   STATUS                                                            AGE
cluster-config   cluster-config   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   True    Fetched revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   45m

kubectl get helmreleases -A

NAMESPACE        NAME      READY   STATUS                             AGE
cluster-config   nginx     True    Release reconciliation succeeded   66m
cluster-config   podinfo   True    Release reconciliation succeeded   66m
cluster-config   redis     True    Release reconciliation succeeded   66m

kubectl get kustomizations -A

NAMESPACE        NAME                   READY   STATUS                                                            AGE
cluster-config   cluster-config-apps    True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m
cluster-config   cluster-config-infra   True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m

工作负载是从 Git 存储库中的清单部署的。

kubectl get deploy -n nginx

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller                   1/1     1            1           67m
nginx-ingress-controller-default-backend   1/1     1            1           67m

kubectl get deploy -n podinfo

NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           68m

kubectl get all -n redis

NAME                 READY   STATUS    RESTARTS   AGE
pod/redis-master-0   1/1     Running   0          68m

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/redis-headless   ClusterIP   None          <none>        6379/TCP   68m
service/redis-master     ClusterIP   10.0.13.182   <none>        6379/TCP   68m

NAME                            READY   AGE
statefulset.apps/redis-master   1/1     68m

控制使用 Flux 群集扩展部署哪些控制器

在某些情况下，你可能希望更改随 Flux 群集扩展一起安装的 Flux 控制器。

默认已安装 source、helm、kustomize 和 notification Flux 控制器。 在新的容器映像可用时，用于更新 Git 存储库的 image-automation 和 image-reflector 控制器必须显式启用。

可以使用 k8s-extension 命令更改默认选项：

• --config source-controller.enabled=<true/false>（默认为 true）
• --config helm-controller.enabled=<true/false>（默认为 true）
• --config kustomize-controller.enabled=<true/false>（默认为 true）
• --config notification-controller.enabled=<true/false>（默认为 true）
• --config image-automation-controller.enabled=<true/false>（默认为 false）
• --config image-reflector-controller.enabled=<true/false>（默认为 false）

例如，若要禁用通知，可以将 notification-controller.enabled 设置为 false。

此示例命令安装 image-reflector 和 image-automation 控制器。 如果在首次创建 Flux 配置时自动创建 Flux 扩展，则扩展名称为 flux。

az k8s-extension create -g <cluster_resource_group> -c <cluster_name> -t <connectedClusters or managedClusters or provisionedClusters> --name flux --extension-type microsoft.flux --config image-automation-controller.enabled=true image-reflector-controller.enabled=true

使用 Kubelet 标识作为 AKS 群集的身份验证方法

对于 AKS 群集，要使用的身份验证选项之一是 Kubelet 标识。 默认情况下，AKS 在托管资源组中创建自己的 kubelet 标识。 如果需要，可以使用预先创建的 kubelet 托管标识。 为此，请在安装 Flux 扩展时添加 --config useKubeletIdentity=true 参数。

az k8s-extension create --resource-group <resource-group> --cluster-name <cluster-name> --cluster-type managedClusters --name flux --extension-type microsoft.flux --config useKubeletIdentity=true

Red Hat OpenShift 载入指南

Flux 控制器需要非根安全上下文约束才能在群集上正确预配 Pod。 在载入 microsoft.flux 扩展之前，必须将这些约束添加到群集。

NS="flux-system"
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:kustomize-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:helm-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:source-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:notification-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-automation-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-reflector-controller

有关载入 Flux 的 OpenShift 指南的详细信息，请参阅 Flux 文档。

Azure 门户可用于管理已启用 Azure Arc 的 Kubernetes 或 AKS 群集中的 GitOps 配置和 Flux 扩展。 在 Azure 门户中，可以查看与每个群集关联的所有 Flux 配置，并获取详细信息，包括每个群集的整体符合性状态。

按照以下步骤将示例 Flux 配置应用于群集。 在此过程中，Azure 会在群集上安装 microsoft.flux 扩展（如果尚未在以前的部署中安装）。

1. 在 Azure 门户中导航到群集。

2. 在服务菜单中的“设置”下，选择“GitOps”>“创建”。

3. 在“基本信息”部分中：

   1. 输入配置的名称。
   2. 输入要在其中安装 Flux 自定义资源的命名空间。 这可以是现有命名空间，也可以是部署配置时将创建的新命名空间。
   3. 在“范围”下选择“群集”，以便 Flux 操作员有权将配置应用于群集中的所有命名空间。 若要在本教程中使用 namespace 范围，请参阅所需的变更。
   4. 选择“下一步”转到“源”部分。

   

4. 在“源”部分中：

   1. 在“源类型”中，选择“Git 存储库”。
   2. 输入 Kubernetes 清单所在的存储库的 URL：https://github.com/Azure/gitops-flux2-kustomize-helm-mt。
   3. 对于引用类型，请选择“分支”。 将“分支”设置为“主”。
   4. 对于“存储库类型”，选择“公共”。
   5. 将其他选项设置为默认值，然后选择“下一步”。

   

5. 在 Kustomizations 节中，创建两个 kustomization：infrastructure 和 staging。 这些 kustomization 是 Flux 资源，每个资源都与存储库中的路径相关联，表示 Flux 应与群集协调的清单集。

   1. 选择“创建”。

   2. 在“创建 Kustomization”屏幕中：

      1. 对于“实例名称”，输入“infrastructure”。

      2. 对于“路径”，输入“./infrastructure”。

      3. 选中“删除”框。 此设置确保 Flux 部署到群集的对象在从存储库中移除或者删除 Flux 配置或 kustomization 时被清除。

      4. 将其他选项保留原样，然后选择“保存”以创建 infrastructure kustomization。

         

   3. 你将在 Kustomizations 部分看到 infrastructure kustomization。 若要创建下一个 kustomization，请选择“创建”。

   4. 在“创建 Kustomization”屏幕中：

      1. 对于“实例名称”，请输入 staging。

      2. 对于“路径”，请输入 ./apps/staging。

      3. 选中“删除”框。

      4. 在“依赖”框中，选择 infrastructure。

      5. 将其他选项保留原样，然后选择“保存”以创建 staging kustomization。

         

   5. 现在，你应该会看到“Kustomizations”部分中显示的两个 kustomization。 选择“下一步”继续操作。

6. 查看在前面的步骤中选择的选项。 然后选择“创建”以完成 GitOps 配置的创建。

查看配置和对象

若要查看群集的所有配置，请导航到群集，然后在服务菜单中选择“GitOps”。

选择配置的名称以查看更多详细信息，例如配置的状态、属性和源。 然后，可以选择“配置对象”以查看为启用 GitOps 配置而创建的所有对象。 这使你可以快速查看合规性状态和有关每个对象的其他详细信息。

若要查看群集上部署的其他 Kubernetes 资源，请返回到群集概述页，然后在服务菜单中选择“Kubernetes 资源”。

若要查看配置对象的详细条件，请选择其名称。

有关详细信息，请参阅监视 GitOps (Flux v2) 状态与活动。

删除 Flux 配置

以下命令会删除 Azure 中的 fluxConfigurations 资源以及群集中的 Flux 配置对象。 Flux 配置最初是使用 kustomization 的 prune=true 参数创建的，因此在删除 Flux 配置时，会删除群集内基于 Git 存储库中的清单创建的所有对象。 但是，此命令不会移除 Flux 扩展本身。

az k8s-configuration flux delete -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters --yes

删除 Flux 群集扩展

删除 Flux 扩展时，Azure 中的 microsoft.flux 扩展资源和群集中的 Flux 扩展对象都会被删除。

如果 Flux 扩展是在首次创建 Flux 配置时自动创建的，扩展名称将是 flux。

az k8s-extension delete -g flux-demo-rg -c flux-demo-arc -n flux -t connectedClusters --yes

删除 Flux 配置

若要删除 Flux 配置，请导航到在其中创建配置的群集，然后在服务菜单中选择 GitOps。 选择要删除的配置。 在页面顶部，选择“删除”，然后在系统提示确认时再次选择“删除”。

删除 Flux 配置时，会删除群集中的所有 Flux 配置对象。 但是，此操作不会删除 microsoft.flux 扩展本身。

删除 Flux 群集扩展

删除 Flux 扩展时，Azure 中的 microsoft.flux 扩展资源和群集中的 Flux 扩展对象都会被删除。

对于已启用 Azure Arc 的 Kubernetes 群集，请导航到该群集并选择“扩展”。 选择 flux 扩展名并选择“卸载”，然后确认删除。

对于 AKS 群集，无法使用 Azure 门户删除扩展。 改为运行以下 Azure CLI 命令：

az k8s-extension delete -g <resource-group> -c <cluster-name> -n flux -t managedClusters --yes