使用 Azure Kubernetes Fleet Manager 实现新式 GitOps 体系结构(预览版)

适用于:✔️ 带中心群集的 Fleet Manager

GitOps 是部署 Kubernetes 应用程序和群集配置的首选模型。 GitOps 通过声明性地定义所需状态并持续使集群状态与该状态保持一致,从而提供一致性、可审计性和操作简单性。

但是,大多数 GitOps 平台最初都是围绕独立管理每个 Kubernetes 群集的假设设计的。 随着组织从少数群集发展到数百或数千个群集,出现了新的挑战:

  • 跨多个群集协调部署。
  • 管理部署位置决策。
  • 强制实施发布顺序和审批流程。
  • 减少存储库和控制器之间的重复。
  • 支持多云和边缘环境。
  • 避免 Git 和控制器扩缩容瓶颈。

Azure Kubernetes Fleet Manager 在单个群集之上引入了更高级别的编排层。 Fleet Manager 并非要替换 Flux 等 GitOps 工具,而是通过处理在机群规模扩大时自然出现的问题(包括部署放置、发布编排、更新管理和多集群治理)来对其进行补充。 Fleet Manager 提供集中的资源放置和安全多群集更新编排功能,专为大型 Kubernetes 环境而设计。

结果是一种现代平台体系结构,其中 GitOps 仍负责本地群集协调,而 Fleet Manager 提供机群级协调。

重要

Azure Kubernetes 舰队管理器预览功能以自助选择加入的方式提供。 预览版按“现状”和“视供应情况”提供,它们不包括在服务级别协议和有限保证范围内。 客户支持部门会尽力为 Azure Kubernetes 舰队管理器预览功能提供部分支持。 因此,这些功能并不适合用于生产。

现有 GitOps 体系结构的挑战

传统 GitOps 体系结构通常遵循以下基本模型:

显示 Git 存储库馈送 GitOps 控制器的关系图,该控制器协调 Kubernetes 群集。

对于单个群集,此模型非常有效。

虽然在技术上可缩放,但平台团队经常遇到:

  • 大量的对帐循环。
  • 存储库扇出挑战。
  • 针对 Git 提供程序的较高拉取频率。
  • 复杂的晋升流水线。
  • 用于渐进发布模式的自定义工具链。
  • 难以跨环境协调部署。

对于数百个群集和环境,它通常演变为:

此图显示了跨开发、测试和 Prod 环境为每个群集提供单独的 Flux 实例的 Git 存储库。

在此规模下,团队通常需要手动调整控制器、存储库边界、源路径和同步间隔,以使系统保持稳定。 常见的模式是在生产中出现瓶颈或漂移问题后,才拆分存储库、添加每团队覆盖层或限制控制器设置。 此方法会产生操作开销,因为体系结构不再易于大规模操作。 当第一个可靠性或性能问题浮出水面时,大部分优化都会被动进行。

GitOps 工具擅长确保单个群集最终收敛到其预期状态。 它们不太适合充当跨数百个群集的全局部署编排器。

随着组织运营的集群数量增加,并采用平台工程和云原生持续交付实践,这种区别变得越来越重要。

借助 Fleet Manager 演进 GitOps

Fleet Manager 通过将机群编排与集群级协调分开来应对这些规模挑战,使组织能够在机群级别管理部署放置、推出进度和治理,同时保留团队已经信任的 GitOps 模型。

职责分离

有用的设计原则是将部署责任分为四个层:

层 责任
事实来源 Git,制品存储库
和解 Flux
放置与分布 车队管理器
推出和治理 车队管理器

在此模型中:

  • 开发人员继续使用 GitOps 工作流。
  • Flux 仍然是对帐引擎。
  • Fleet Manager 确定工作负荷的运行位置。
  • 机队管理器协调部署进度。

每个组件都侧重于它最擅长的功能。

在 Fleet Manager 上启用 GitOps 控制器

在 Fleet Manager 中心群集上运行 GitOps 控制器时,传统的 GitOps 模型将更改为:

此图显示了一个 Fleet Hub 集群,其中 Flux 连接到源,Fleet Placement 将内容分发到 1,000 个成员集群,并且 Flux 会使更改达到一致状态。

在此新方法中:

  • 只需向中心集群拉取一次 Git。
  • Fleet Manager 资源部署会根据要求处理分发和修改配置。
  • 每个成员从可缩放的存储库拉取 OCI 制品或 Helm Chart。
  • Local Flux 根据 Fleet Manager 中的分布式资源协调配置。

此方法显著减少:

  • 控制器占用空间。
  • Git 服务器负载。
  • 制品提取。
  • 潜在的协调风暴。

Fleet Manager 的行为类似于用于部署的 Kubernetes 本机 CDN。

GitOps 仍然是集群级协调引擎

Fleet Manager 不会试图取代 Flux。 每个成员群集上的控制器仍负责:

  • 应用清单。
  • 管理部署发布工件,例如 Helm Chart 或 OCI 工件。
  • 依赖项排序。
  • 漂移检测。
  • 工作负荷对账。
  • 运行状况监控。

对于每个成员群集,本地对帐循环保持不变。 此方法可保留现有投资,并避免中断已建立的 GitOps 操作模型。

此图显示了一个成员群集,其中 Flux 协调 Helm 发布和 Kustomization 以部署工作负载。

Fleet Manager 成为机队级控制平面

机队管理器在单个群集上方引入了一层。

现在,而不是问:如何部署此清单?

团队可以询问:哪些群集应接收此应用程序?

Fleet Manager 基于群集属性、标签、区域、资源可用性和其他机群级属性提供智能资源放置。

群集级 Flux 支持分布式资源并部署应用程序组件。

显示 Helm 或 OCI 制品应用通过机群放置策略传递到群集 A、B 和 C 的示意图,每个运行 Flux。

平台团队可以一次表达意图,并允许放置策略确定相应的目标。

此方法消除了跨存储库和部署定义的显著重复。

支持 Gitless GitOps

GitOps 生态系统正越来越多地转向基于 OCI 的交付模型。

Flux 的 D2 参考体系结构 和更广泛的行业努力正在推动以下两者之间的分离:

  • 创作。
  • 包装。
  • 分发。
  • 对账。

在这些模型中,Git 成为编写系统,而不是运行时依赖项。

新式工作流变为:

显示 Gitless GitOps 工作流的关系图:Git、构建、OCI 工件或 Helm Chart、Fleet 分发和集群协调。

优点包括:

  • 减少了 Git 服务器负载。
  • 不可变的已签名部署制品。
  • 更好的晋级工作流。
  • 改进了供应链安全性。
  • 大规模部署速度更快。

Fleet Manager 自然与此方法保持一致。 应用程序可以打包成 OCI 工件,并独立于 Git 存储库进行分发,而 Flux 将继续执行集群级对帐。 此方法允许组织从传统的以 Git 为中心的 GitOps 演变为 Gitless GitOps,而无需替换其运营模型。

克服传统 GitOps 的扩展性限制

大型 GitOps 环境经常遇到一些限制。

控制器扇出

将应用程序部署到数百个群集意味着数百个独立的协调。

Fleet 允许通过放置策略来选择目标群集,而不是显式管理每个群集。

晋级复杂性

许多组织依赖于存储库结构,例如:

显示包含开发、测试、阶段和生产文件夹的存储库结构的关系图。

晋升通常需要:

  • 拉取请求。
  • 拣选提交。
  • 分支管理。
  • 存储库同步。

Fleet Manager 使平台团队能够将部署进度作为部署关注点而非存储库拓扑方面的考量进行管理。

多云协调

GitOps 工具主要逐个群集运行。

Fleet Manager 旨在通过单个控制平面跨区域、云和本地部署环境管理 Kubernetes 群集。

无论成员群集在何处运行,此方法都提供一个常见的编排层。

GitOps 之外的渐进式推出

Fleet Manager 最重要的优势之一是部署编排。

传统 GitOps 工具通常提供:

  • 对账。
  • 漂移更正。
  • 部署状态。

大规模部署策略通常需要其他工具。

Fleet Manager 使用以下方法引入了可重用的部署策略:

  • 阶段。
  • 群组
  • 审批关卡。
  • 并发控制。
  • 已计划执行。
  • 自动进度规则。

这些功能专为整个车队的安全运营而设计。

Example:

显示四阶段分阶段部署的关系图:Canary、Region Test 和 Production Region A,每个区域都有观察期和批准,然后是生产区域 B。

每个阶段可以包括审批、等待和推进控制,具体取决于在该阶段中的群集部署成功情况。

部署到达群集后,GitOps 控制器将继续在本地持续调谐。

群集何时收到该部署由 Fleet Manager 资源放置控制。

参考体系结构

显示开发人员、Git 存储库、CI 管道和 OCI 制品的参考体系结构,这些内容为 Fleet Manager 的部署位置、发布和治理提供输入,并交付到由 Flux 协调工作负载的群集。

在此体系结构中:

  • Git 仍然是创作工作流。
  • OCI 或 Helm Chart 将成为分发格式。
  • Flux 仍然是对帐引擎。
  • 机队经理成为编排平面。

结束语

GitOps 仍然是 Kubernetes 对帐的最佳模型,但机群规模操作引入了超出传统 GitOps 工具范围的担忧。

Azure Kubernetes Fleet Manager 是对 GitOps 的补充,而不是替代,它引入了机群级放置、治理和发布编排。 虽然 Flux 继续确保各个群集收敛到其期望状态,但 Fleet Manager 确定应用程序应运行的位置、部署如何跨环境进行,以及组织如何安全地实现大规模运营。

生成的体系结构支持传统的基于 Git 的工作流和新兴的 Gitless GitOps 模式,使组织能够将应用程序交付从几个群集扩展到数百或数千个,而无需放弃最初使 Kubernetes 运维取得成功的 GitOps 原则。

后续步骤