在 Azure Kubernetes 服务（AKS）上部署高度可用的 PostgreSQL 数据库

在本文中，你将在 AKS 上部署高度可用的 PostgreSQL 数据库。

• 如果仍需为此部署创建所需的基础结构，请按照创建基础结构中的步骤在 AKS 上部署高度可用的 PostgreSQL 数据库 进行设置，然后返回到本文。

为启动应用用户创建机密

1. 使用 kubectl create secret 命令为启动应用用户生成一个机密，通过交互式登录来验证 PostgreSQL 部署。

PG_DATABASE_APPUSER_SECRET=$(echo -n | openssl rand -base64 16)

kubectl create secret generic db-user-pass \
    --from-literal=username=app \
     --from-literal=password="${PG_DATABASE_APPUSER_SECRET}" \
     --namespace $PG_NAMESPACE \
     --context $AKS_PRIMARY_CLUSTER_NAME

1. 使用 kubectl get 命令验证是否已成功创建机密。

   kubectl get secret db-user-pass --namespace $PG_NAMESPACE --context $AKS_PRIMARY_CLUSTER_NAME
   

设置用于 PostgreSQL 群集的环境变量

• 部署 ConfigMap 以使用以下kubectl apply命令配置 CNPG 操作器。 这些值将替换不再需要的旧 ENABLE_AZURE_PVC_UPDATES 开关，以便错开升级并加快副本重新连接的速度。 将此配置滚动到生产环境之前，请验证你依赖的任何现有 DRAIN_TAINTS 设置是否与 Azure 环境保持兼容。

  cat <<EOF | kubectl apply --context $AKS_PRIMARY_CLUSTER_NAME -n $PG_NAMESPACE -f -
  apiVersion: v1
  kind: ConfigMap
  metadata:
      name: cnpg-controller-manager-config
  data:
      CLUSTERS_ROLLOUT_DELAY: '120'
      STANDBY_TCP_USER_TIMEOUT: '10'
  EOF
  

安装 Prometheus PodMonitor

Prometheus 使用 CNPG GitHub 示例存储库中存储的记录规则来擦除 CNPG。 由于操作员管理的 PodMonitor 已弃用，因此请自行创建和管理 PodMonitor 资源，以便你可以将其定制到监视堆栈。

1. 使用 helm repo add 命令添加 Prometheus 社区 Helm 存储库。

   helm repo add prometheus-community \
       https://prometheus-community.github.io/helm-charts
   

2. 升级 Prometheus 社区 Helm 存储库，并使用带有 helm upgrade 标志的 --install 命令在主群集上安装它。

   helm upgrade --install \
       --namespace $PG_NAMESPACE \
       -f https://raw.githubusercontent.com/cloudnative-pg/cloudnative-pg/main/docs/src/samples/monitoring/kube-stack-config.yaml \
       prometheus-community \
       prometheus-community/kube-prometheus-stack \
       --kube-context=$AKS_PRIMARY_CLUSTER_NAME
   

3. 为群集创建 PodMonitor。 CNPG 团队正在弃用操作员管理的 PodMonitor，因此现在直接对其进行管理：

   cat <<EOF | kubectl apply --context $AKS_PRIMARY_CLUSTER_NAME --namespace $PG_NAMESPACE -f -
   apiVersion: monitoring.coreos.com/v1
   kind: PodMonitor
   metadata:
     name: $PG_PRIMARY_CLUSTER_NAME
     namespace: ${PG_NAMESPACE}
     labels:
       cnpg.io/cluster: ${PG_PRIMARY_CLUSTER_NAME}
   spec:
     selector:
       matchLabels:
         cnpg.io/cluster: ${PG_PRIMARY_CLUSTER_NAME}
     podMetricsEndpoints:
       - port: metrics
   EOF
   

创建联合凭据

在本部分，你将创建 PostgreSQL 备份的联合标识凭据，以允许 CNPG 使用 AKS 工作负载标识向存储帐户目标进行身份验证来进行备份。 CNPG 运算符会创建一个与 CNPG 群集部署清单中使用的群集同名的 Kubernetes 服务帐户。

1. 使用 az aks show 命令获取群集 OIDC 颁发者 URL。

   export AKS_PRIMARY_CLUSTER_OIDC_ISSUER="$(az aks show \
       --name $AKS_PRIMARY_CLUSTER_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --query "oidcIssuerProfile.issuerUrl" \
       --output tsv)"
   

2. 使用 az identity federated-credential create 命令创建联合标识凭据。

   az identity federated-credential create \
       --name $AKS_PRIMARY_CLUSTER_FED_CREDENTIAL_NAME \
       --identity-name $AKS_UAMI_CLUSTER_IDENTITY_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --issuer "${AKS_PRIMARY_CLUSTER_OIDC_ISSUER}" \
       --subject system:serviceaccount:"${PG_NAMESPACE}":"${PG_PRIMARY_CLUSTER_NAME}" \
       --audience api://AzureADTokenExchange
   

部署高度可用的 PostgreSQL 群集

在本部分，你将使用 CNPG 群集自定义资源定义 (CRD) 部署高度可用的 PostgreSQL 群集。

群集 CRD 参数

下表概述了在群集 CRD 的 YAML 部署清单中设置的关键属性：

若要进一步隔离 PostgreSQL 工作负荷，可以将污点（例如 node-role.kubernetes.io/postgres=:NoSchedule）添加到数据平面节点，并将示例 nodeSelector/tolerations 替换为 CloudNativePG 建议的值。 如果采用此方法，请相应地标记节点，并确认 AKS 自动缩放程序策略与拓扑保持一致。

PostgreSQL 性能参数

PostgreSQL 性能在很大程度上取决于群集的基础资源和工作负荷。 下表提供了标准 D4s v3 节点上运行的三节点群集（16-GiB 内存）的基线指导。 将这些值视为起点，并在了解工作负荷配置文件后对其进行调整：

部署 PostgreSQL

2. 使用 kubectl get 命令验证是否已成功创建主要 PostgreSQL 群集。 CNPG 群集 CRD 指定了三个实例，可以在启动并加入每个实例进行复制后查看正在运行的 Pod 来验证。 请耐心等待，因为所有三个实例需要一些时间才能联机并加入群集。

   kubectl get pods --context $AKS_PRIMARY_CLUSTER_NAME --namespace $PG_NAMESPACE -l cnpg.io/cluster=$PG_PRIMARY_CLUSTER_NAME
   

   示例输出

   NAME                         READY   STATUS    RESTARTS   AGE
   pg-primary-cnpg-r8c7unrw-1   1/1     Running   0          4m25s
   pg-primary-cnpg-r8c7unrw-2   1/1     Running   0          3m33s
   pg-primary-cnpg-r8c7unrw-3   1/1     Running   0          2m49s
   

kubectl cnpg destroy [cnpg-cluster-name] [instance-number]  

验证 Prometheus PodMonitor 是否正在运行

手动创建的 PodMonitor 将 kube-prometheus-stack 抓取配置与之前部署的 CNPG Pod 关联起来。

使用 kubectl get 命令验证 PodMonitor 是否正在运行。

kubectl --namespace $PG_NAMESPACE \
    --context $AKS_PRIMARY_CLUSTER_NAME \
    get podmonitors.monitoring.coreos.com \
    $PG_PRIMARY_CLUSTER_NAME \
    --output yaml

示例输出

kind: PodMonitor
metadata:
  labels:
    cnpg.io/cluster: pg-primary-cnpg-r8c7unrw
  name: pg-primary-cnpg-r8c7unrw
  namespace: cnpg-database
spec:
  podMetricsEndpoints:
  - port: metrics
  selector:
    matchLabels:
      cnpg.io/cluster: pg-primary-cnpg-r8c7unrw

如果使用 Azure Monitor for Managed Prometheus，则需要使用自定义组名称添加另一个 Pod 监视器。 托管版 Prometheus 不会从 Prometheus 社区获取自定义资源定义（CRDs）。 除了组名外，CRD 是相同的。 该设计允许托管 Prometheus 下的 Pod 监视器与使用社区 CRD 的 Pod 监视器并行运行。 如果不使用托管 Prometheus，可以跳过本部分。 创建新的 Pod 监视器：

cat <<EOF | kubectl apply --context $AKS_PRIMARY_CLUSTER_NAME --namespace $PG_NAMESPACE -f -
apiVersion: azmonitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: cnpg-cluster-metrics-managed-prometheus
  namespace: ${PG_NAMESPACE}
  labels:
    azure.workload.identity/use: "true"
    cnpg.io/cluster: ${PG_PRIMARY_CLUSTER_NAME}
spec:
  selector:
    matchLabels:
      azure.workload.identity/use: "true"
      cnpg.io/cluster: ${PG_PRIMARY_CLUSTER_NAME}
  podMetricsEndpoints:
    - port: metrics
EOF

验证是否已创建 Pod 监视器（请注意组名的差异）。

kubectl --namespace $PG_NAMESPACE \
    --context $AKS_PRIMARY_CLUSTER_NAME \
    get podmonitors.azmonitoring.coreos.com \
    -l cnpg.io/cluster=$PG_PRIMARY_CLUSTER_NAME \
    -o yaml

选项 A - Azure Monitor 工作区

部署 Postgres 群集和 Pod 监视器后，可以在 Azure Monitor 工作区中使用 Azure 门户查看指标。

选项 B - 托管 Grafana

或者，在部署 Postgres 群集和 Pod 监视器后，可以在部署脚本创建的托管 Grafana 实例上创建指标仪表板，以可视化导出到 Azure Monitor 工作区的指标。 可以通过 Azure 门户访问托管 Grafana。 导航到部署脚本创建的托管 Grafana 实例，然后选择端点链接，如下所示：

选择“终结点”链接将打开一个新的浏览器窗口，你可以在托管 Grafana 实例上创建仪表板。 按照说明配置 Azure Monitor 数据源，然后就可添加可视化效果，创建 Postgres 群集指标仪表板。 设置数据源连接后，从主菜单中选择“数据源”选项。 您应该能看到用于数据源连接的一组数据源选项，正如这里所示。

在“托管 Prometheus”选项上，选择“生成仪表板”选项以打开仪表板编辑器。 编辑器窗口打开后，选择“添加可视化效果”选项，然后选择“托管 Prometheus”选项以浏览 Postgres 群集中的指标。 选择要可视化的指标后，选择“运行查询”按钮以提取可视化效果的数据，如下所示：

选择“保存”图标，将面板添加到仪表板。 在仪表板编辑器中选择“添加”按钮后，可以添加其他面板，并通过重复此过程来可视化其他指标。 添加指标可视化效果后，应会显示如下所示的内容：

选择“保存”图标以保存仪表板。

后续步骤

供稿人

Microsoft 会维护本文。 本系列文章为以下参与者的原创作品：

• Ken Kilty | 首席 TPM
• Russell de Pina | 首席 TPM
• Adrian Joian | 高级客户工程师
• Jenny Hayes | 高级内容开发人员
• Carol Smith | 高级内容开发人员
• Erin Schaffer | 内容开发人员 2
• Adam Sharif | 客户工程师 2

确认书

本文档是与 CloudNativePG 操作员的维护者 EnterpriseDB 联合开发的。 我们感谢 加布里埃勒·巴托林尼 审查本文档的早期草稿并提供技术改进。