在 Azure Kubernetes 服务（AKS）上创建用于运行 Apache Airflow 的基础结构

2025-08-29

本文将创建在 Azure Kubernetes 服务（AKS）上运行 Apache Airflow 所需的基础结构资源。

先决条件

如果尚未部署，请查看概述，了解如何在 Azure Kubernetes 服务（AKS）上部署 Apache Airflow 群集。
一份 Azure 订阅。如果没有试用版，请创建一个试用版。
Azure CLI 版本 2.61.0。若要安装或升级，请参阅安装 Azure CLI。
Helm 版本 3 或更高版本。若要安装，请参阅安装 Helm。
kubectl。
用于存储 Airflow Dags 的 GitHub 存储库。
在本地计算机上安装 Docker。若要安装，请参阅 “获取 Docker”。

设置环境变量。

设置在整个指南中使用的所需环境变量：

random=$(echo $RANDOM | tr '[0-9]' '[a-z]')
export MY_LOCATION=canadacentral
export MY_RESOURCE_GROUP_NAME=apache-airflow-rg
export MY_IDENTITY_NAME=airflow-identity-123
export MY_ACR_REGISTRY=mydnsrandomname$(echo $random)
export MY_KEYVAULT_NAME=airflow-vault-$(echo $random)-kv
export MY_CLUSTER_NAME=apache-airflow-aks
export SERVICE_ACCOUNT_NAME=airflow
export SERVICE_ACCOUNT_NAMESPACE=airflow
export AKS_AIRFLOW_NAMESPACE=airflow
export AKS_AIRFLOW_CLUSTER_NAME=cluster-aks-airflow
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME=airflowsasa$(echo $random)
export AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME=airflow-logs
export AKS_AIRFLOW_LOGS_STORAGE_SECRET_NAME=storage-account-credentials

创建资源组

使用 az group create 命令创建资源组。

az group create --name $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --output table

示例输出：

Location       Name
-------------  -----------------
$MY_LOCATION   $MY_RESOURCE_GROUP_NAME

创建标识以访问 Azure Key Vault 中的机密

在此步骤中，我们将创建外部机密操作员用来访问 Azure Key Vault 中存储的 Airflow 密码的用户分配托管标识。

使用 az identity create 命令创建用户分配的托管标识。

az identity create --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --output table
export MY_IDENTITY_NAME_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)
export MY_IDENTITY_NAME_PRINCIPAL_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query principalId --output tsv)
export MY_IDENTITY_NAME_CLIENT_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query clientId --output tsv)

示例输出：

ClientId                              Location       Name                  PrincipalId                           ResourceGroup            TenantId
------------------------------------  -------------  --------------------  ------------------------------------  -----------------------  ------------------------------------  
00001111-aaaa-2222-bbbb-3333cccc4444  $MY_LOCATION   $MY_IDENTITY_NAME     aaaaaaaa-bbbb-cccc-1111-222222222222  $MY_RESOURCE_GROUP_NAME  aaaabbbb-0000-cccc-1111-dddd2222eeee

创建 Azure Key Vault 实例

使用 az keyvault create 命令创建 Azure Key Vault 实例。

az keyvault create --name $MY_KEYVAULT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --enable-rbac-authorization false --output table
export KEYVAULTID=$(az keyvault show --name $MY_KEYVAULT_NAME --query "id" --output tsv)
export KEYVAULTURL=$(az keyvault show --name $MY_KEYVAULT_NAME --query "properties.vaultUri" --output tsv)

示例输出：

Location       Name                  ResourceGroup
-------------  --------------------  ----------------------
$MY_LOCATION   $MY_KEYVAULT_NAME     $MY_RESOURCE_GROUP_NAME

创建 Azure 容器注册表

使用 az acr create 命令创建 Azure 容器注册表以存储和管理您的容器映像。

az acr create \
--name ${MY_ACR_REGISTRY} \
--resource-group $MY_RESOURCE_GROUP_NAME \
--sku Premium \
--location $MY_LOCATION \
--admin-enabled true \
--output table
export MY_ACR_REGISTRY_ID=$(az acr show --name $MY_ACR_REGISTRY --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)

示例输出：

NAME                  RESOURCE GROUP           LOCATION       SKU      LOGIN SERVER                     CREATION DATE         ADMIN ENABLED
--------------------  ----------------------   -------------  -------  -------------------------------  --------------------  ---------------
mydnsrandomnamebfbje  $MY_RESOURCE_GROUP_NAME  $MY_LOCATION   Premium  mydnsrandomnamebfbje.azurecr.cn  2024-11-07T00:32:48Z  True

创建 Azure 存储帐户

创建一个 Azure 存储帐户来存储 Airflow 日志，使用命令 az acr create。

az storage account create --name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --sku Standard_ZRS --output table
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY=$(az storage account keys list --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --query "[0].value" -o tsv)
az storage container create --name $AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --output table --account-key $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-NAME --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-KEY --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY

示例输出：

AccessTier    AllowBlobPublicAccess    AllowCrossTenantReplication    CreationTime                      EnableHttpsTrafficOnly    Kind       Location       MinimumTlsVersion    Name              PrimaryLocation    ProvisioningState    ResourceGroup      StatusOfPrimary
------------  -----------------------  -----------------------------  --------------------------------  ------------------------  ---------  -------------  -------------------  ----------------  -----------------  -------------------  -----------------  -----------------
Hot           False                    False                          2024-11-07T00:22:13.323104+00:00  True                      StorageV2  $MY_LOCATION   TLS1_0               airflowsasabfbje  $MY_LOCATION       Succeeded            $MY_RESOURCE_GROUP_NAME  available
Created
---------
True

创建 AKS 群集

在此步骤中，我们将创建启用了负载标识和 OIDC 颁发者的 AKS 集群。此配置创建一个高可用性 AKS 群集，该群集针对运行 Apache Airflow 等生产工作负荷进行优化。它在三个可用性区域通过使用虚拟机预配一个三节点群集，以实现弹性。群集已集成到 ACR 中以进行安全的镜像提取，并支持 OIDC 颁发者和工作负载标识，以便提供对 Azure 资源的安全和基于身份的访问。它还支持 Azure CNI 网络插件、Blob CSI 驱动程序以及自动节点 OS 和 Kubernetes 版本升级，以提高性能和安全性。

使用 az aks create 命令创建 AKS 群集。

az aks create \
--location $MY_LOCATION \
--name $MY_CLUSTER_NAME \
--tier standard \
--resource-group $MY_RESOURCE_GROUP_NAME \
--network-plugin azure  \
--node-vm-size Standard_DS4_v2 \
--node-count 3 \
--auto-upgrade-channel stable \
--node-os-upgrade-channel NodeImage \
--attach-acr ${MY_ACR_REGISTRY} \
--enable-oidc-issuer \
--enable-blob-driver \
--enable-workload-identity \
--zones 1 2 3 \
--generate-ssh-keys \
--output table

示例输出：

AzurePortalFqdn                                                                 CurrentKubernetesVersion    DisableLocalAccounts    DnsPrefix                           EnableRbac    Fqdn                                                                     KubernetesVersion    Location       MaxAgentPools    Name                NodeResourceGroup                                      ProvisioningState    ResourceGroup            ResourceUid                           SupportPlan
------------------------------------------------------------------------------  --------------------------  ----------------------  ----------------------------------  ------------  -----------------------------------------------------------------------  -------------------  -------------  ---------------  ------------------  -----------------------------------------------------  -------------------  -----------------------  ------------------------------------  ------------------
apache-air-apache-airflow-r-363a0a-rhf6saad.portal.hcp.$MY_LOCATION.cx.prod.service.azk8s.cn   1.29.9                      False                   apache-air-apache-airflow-r-363a0a  True          apache-air-apache-airflow-r-363a0a-rhf6saad.hcp.$MY_LOCATION.cx.prod.service.azk8s.cn   1.29                 $MY_LOCATION   100              $MY_CLUSTER_NAME    MC_apache-airflow-rg_apache-airflow-aks_$MY_LOCATION   Succeeded            $MY_RESOURCE_GROUP_NAME  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  KubernetesOfficial

通过 az aks show 命令获取用于工作负荷身份配置的 OIDC 颁发者 URL。

export OIDC_URL=$(az aks show --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv)

使用az role assignment create命令将AcrPull角色分配给 kubelet 标识。

export KUBELET_IDENTITY=$(az aks show -g $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --output tsv --query identityProfile.kubeletidentity.objectId)
az role assignment create \
--assignee ${KUBELET_IDENTITY} \
--role "AcrPull" \
--scope ${MY_ACR_REGISTRY_ID} \
--output table

示例输出：

CreatedBy                             CreatedOn                         Name                                  PrincipalId                           PrincipalName                         PrincipalType     ResourceGroup            RoleDefinitionId                                                                                                                            RoleDefinitionName    Scope                                                                                                                                                             UpdatedBy                             UpdatedOn
------------------------------------  --------------------------------  ------------------------------------  ------------------------------------  ------------------------------------  ----------------  -----------------------  ------------------------------------------------------------------------------------------------------------------------------------------  --------------------  ----------------------------------------------------------------------------------------------------------------------------------------------------------        ------------------------------------  --------------------------------
ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  bbbbbbbb-cccc-dddd-2222-333333333333  cccccccc-dddd-eeee-3333-444444444444  ServicePrincipal  $MY_RESOURCE_GROUP_NAME  /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/providers/Microsoft.Authorization/roleDefinitions/7f951dda-4ed3-4680-a7ca-43fe172d538d  AcrPull               /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerRegistry/registries/mydnsrandomnamebfbje  ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00

连接到 AKS 群集

配置 kubectl 以使用 az aks get-credentials 命令连接到 AKS 群集。

az aks get-credentials --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --overwrite-existing --output table

将 Apache Airflow 映像上传到容器注册表

在本部分中，我们将从 Docker Hub 下载 Apache Airflow 映像并将其上传到 Azure 容器注册表。此步骤可确保映像在专用注册表中可用，并且可以在 AKS 群集中使用。不建议在生产环境中使用公共映像。

从 Docker Hub 导入 Airflow 映像，并使用命令将其上传到容器注册表 az acr import 。

az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-2024.01.19-1.21.0 --image airflow:airflow-pgbouncer-2024.01.19-1.21.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-exporter-2024.06.18-0.17.0 --image airflow:airflow-pgbouncer-exporter-2024.06.18-0.17.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/bitnami/postgresql:16.1.0-debian-11-r15 --image postgresql:16.1.0-debian-11-r15
az acr import --name $MY_ACR_REGISTRY --source quay.io/prometheus/statsd-exporter:v0.26.1 --image statsd-exporter:v0.26.1 
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:2.9.3 --image airflow:2.9.3 
az acr import --name $MY_ACR_REGISTRY --source registry.k8s.io/git-sync/git-sync:v4.1.0 --image git-sync:v4.1.0

后续步骤

在 Azure Kubernetes 服务（AKS）上部署 Apache Airflow

供稿人

Microsoft维护本文。以下贡献者最初撰写了这篇文章：

Don High | 首席客户工程师
Satya Chandragiri |高级数字云解决方案架构师
Erin Schaffer | 内容开发人员 2

通过

在 Azure Kubernetes 服务（AKS）上创建用于运行 Apache Airflow 的基础结构

先决条件

设置环境变量。

创建资源组

创建标识以访问 Azure Key Vault 中的机密

创建 Azure Key Vault 实例

创建 Azure 容器注册表

创建 Azure 存储帐户

创建 AKS 群集

连接到 AKS 群集

将 Apache Airflow 映像上传到容器注册表

后续步骤

供稿人

其他资源