为Azure Kubernetes 服务 (AKS)设置容器网络指标

使用容器网络指标识别数据包丢弃、调查 DNS 行为,并查找网络问题所涉及的工作负载。 本指南在 Azure Kubernetes 服务 (AKS) 上启用收集,将其连接到 Prometheus 后端,并演示如何在 ACNS Grafana 仪表板中查看网络运行状况。

使用 Azure Monitor 托管的 Prometheus 服务,并在 Azure 门户中直接查看网络仪表板。 门户的 Grafana 仪表板不收取额外的仪表板费用;无需创建Azure 托管 Grafana实例。 或者,使用自己的 Prometheus 和 Grafana 部署。 指标集合可用于受支持的 Cilium 和非 Cilium 数据平面;Pod 级指标需要 Linux。 请参阅平台覆盖范围和可用指标的 指标概述 。

在 Cilium 群集上,可以按工作负荷或安全标识筛选各个指标,或者为外部目标 IP 和目标端口启用指标。 这些是可选的后续步骤,而不是基本收集的要求。

例如,从包含过滤器开始,从一个应用程序收集流指标。 仅当需要例外情况时添加排除筛选器,例如排除发往特定目标的流量。 若要在删除负载测试产生的丢弃观测数据时保留广泛的集合,请改用仅排除筛选器。 请参阅 指标筛选示例。

Step 结果
1.启用 ACNS 并连接到群集 支持节点上提供网络可观测性。
2.选择集合路径 托管或自托管 Prometheus 会抓取代理指标。
3.允许默认排除的指标(如果需要) Prometheus 从代理的指标终结点收集所需的指标。
4.打开网络仪表板 可以在Azure门户或自己的 Grafana 部署中查看网络运行状况和工作负荷流量。

有关存储的日志或实时 Hubble 检查(而不是指标),请参阅 设置容器网络日志。

Important

Azure门户仪表板体验是免费的。 ACNS 和指标摄取及存储仍会产生费用。 尽可能使用现有的受支持的群集和监视资源。

先决条件

  • 具有活动订阅的 Azure 帐户。 如果需要,请创建 试用版。
  • 在本地 Bash 终端中,使用当前的 Azure CLI和 kubectl 运行 Bash。 运行 az --version 以检查 CLI 安装。
  • 创建或更新群集和所选监视资源的权限,以及对保存指标的 Azure Monitor 工作区的读取访问权限。 有关托管路径,请查看Azure Monitor先决条件。
  • 支持的 AKS Kubernetes 版本和节点操作系统。 不要在已停用Azure Linux 2.0 映像上创建新的节点池。 请参阅 升级节点操作系统。
  • 运行有网络活动的工作负载以填充工作负载仪表板。 空群集不会显示应用程序流量。
  • 对于 Cilium 上的 DNS 指标,请通过应用 DNS 检查策略并生成 DNS 流量来配置 DNS 可见性。 对于 HTTP 指标,完成 第 7 层策略配置:在群集上启用 L7,将 HTTP 检查策略应用于工作负荷,并通过该策略生成 HTTP 流量。 配置指标筛选器不会应用这些策略或验证是否生成观测结果。 基本节点级网络监视不需要这两个。

步骤 1:启用 ACNS 并连接到群集

如果您使用本地 CLI,请使用 az login 登录。 选择订阅并设置本指南中使用的值:

az account set --subscription "<subscription-id>"
export RESOURCE_GROUP="<aks-resource-group>"
export CLUSTER_NAME="<aks-cluster-name>"
export LOCATION="<azure-region>"

使用现有群集

如果 ACNS 已启用,则跳过更新命令。 否则,请启用它:

az aks update \
    --resource-group "$RESOURCE_GROUP" \
    --name "$CLUSTER_NAME" \
    --enable-acns

启用 ACNS 不会更改现有群集的数据平面。 指标筛选和稍后所述的其他指标启用需要 Cilium。 有关其他 ACNS 功能及其先决条件,请参阅 ACNS 概述。

或创建新群集

创建资源组(如果尚不存在):

az group create --name "$RESOURCE_GROUP" --location "$LOCATION"

选择以下选项 之一 。 这些命令使用区域的默认 AKS Kubernetes 版本,而不是固定旧版本。 若要选择另一个受支持的版本,请检查 az aks get-versions --location "$LOCATION" -o table 并添加 --kubernetes-version,并指定所选版本。

Cilium

如果计划使用源级指标筛选或附加的 external-IP 和 destination-port 指标,请选择 Cilium:

az aks create \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --generate-ssh-keys \
    --location "$LOCATION" \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --network-dataplane cilium \
    --node-count 2 \
    --pod-cidr 192.168.0.0/16 \
    --enable-acns

非 Cilium

此选项支持收集可用于非 Cilium 数据平面的指标。 它不提供特定于 Cilium 的 CNM 筛选路径或容器网络安全功能。 有关 FIPS 限制,请参阅 度量平台限制。

az aks create \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --generate-ssh-keys \
    --location "$LOCATION" \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --pod-cidr 192.168.0.0/16 \
    --enable-acns

获取群集凭据

对于新群集或现有群集,请连接并确认当前上下文:

az aks get-credentials --name "$CLUSTER_NAME" --resource-group "$RESOURCE_GROUP"
kubectl config current-context
kubectl get nodes

如果上下文不是预期的群集或命令失败,请停止。 在继续之前解决连接、权限或节点就绪性问题。

步骤 2:选择集合路径

路径 在以下情况下选择它
Azure托管 Prometheus 和门户仪表板 需要托管指标存储和内置网络仪表板,而无需创建 Grafana 实例。
你自己的 Prometheus 和 Grafana 你已经在运行一套监控栈,并想要向其中添加网络指标。

首先配置一个路径。 如果已成功收集网络指标,请保留该设置并继续执行步骤 3 或步骤 4。 配置重复的抓取会增加摄取量并扭曲查询。

Azure 托管的 Prometheus 和门户仪表板

将 Azure Monitor 工作区用于 Prometheus 指标。 Log Analytics工作区存储日志,不能替代此指标工作区。

以下示例在群集的资源组中创建Azure Monitor工作区。 如果已有工作区,请将 AZURE_MONITOR_NAME 设置为其名称,跳过创建,并使用其实际资源组获取其 ID。 使用 Azure Monitor 工作区支持的位置。

创建或选择Azure Monitor工作区

export AZURE_MONITOR_NAME="<azure-monitor-name>"

az resource create \
    --resource-group "$RESOURCE_GROUP" \
    --namespace Microsoft.Monitor \
    --resource-type accounts \
    --name "$AZURE_MONITOR_NAME" \
    --location "$LOCATION" \
    --properties '{}'

启用托管 Prometheus 采集

获取Azure Monitor工作区资源 ID:

azuremonitorId=$(az resource show \
    --resource-group "$RESOURCE_GROUP" \
    --name "$AZURE_MONITOR_NAME" \
    --resource-type "Microsoft.Monitor/accounts" \
    --query id --output tsv)

检查命令是否存在错误,并在继续操作之前确认 azuremonitorId 是否包含预期工作区的资源 ID。 启用抓取:

az aks update \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --enable-azure-monitor-metrics \
    --azure-monitor-workspace-resource-id "$azuremonitorId"

验证Azure Monitor指标 Pod:

kubectl get pods -n kube-system -o wide | grep ama-metrics

在检查数据之前解决未就绪的 Pod。 单独运行 Pod 并不能保证成功的抓取或摄取。 有关权限或收集问题,请按照 启用对 AKS 的监视操作操作。

Azure门户仪表板不需要单独的 Grafana 资源或 Grafana 链接。 继续选择指标,然后在步骤 4 中打开网络仪表板。

你自己的 Prometheus 和 Grafana

使用现有的 Prometheus 部署,该部署可以发现 Kubernetes Pod 并访问代理指标终结点。 首先配置其 Kubernetes API 身份验证、RBAC 和网络访问。 以下示例介绍 Hubble Pod 级指标;它未配置节点级 Cilium 或 Retina 指标。

将此作业添加到现有 scrape_configs 列表,保留其他作业。 如果由 Operator 管理你的 Prometheus,请使用其支持的配置机制,而不是编辑生成的配置文件。 将 myAKSCluster 替换为你的群集标签:

scrape_configs:
  - job_name: networkobservability-hubble
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_label_k8s_app]
        regex: 'kube-system;(retina|cilium)'
        action: keep
      - source_labels: [__meta_kubernetes_pod_phase]
        regex: Running
        action: keep
      - source_labels: [__meta_kubernetes_pod_ip]
        regex: '([^:]+)'
        replacement: '$1:9965'
        target_label: __address__
      - source_labels: [__meta_kubernetes_pod_ip]
        regex: '(.+:.*)'
        replacement: '[$1]:9965'
        target_label: __address__
      - target_label: cluster
        replacement: myAKSCluster
      - source_labels: [__meta_kubernetes_pod_node_name]
        target_label: instance
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: 'hubble_dns_queries_total|hubble_dns_responses_total|hubble_drop_total|hubble_tcp_flags_total'
        action: keep

如果你的部署中可用,使用 promtool check config "<prometheus-config-file>" 验证合并后的配置,然后按照你正常的操作流程重新加载 Prometheus。 在 “目标”中,检查目标 networkobservability-hubble 是否为 UP。 如果目标未处于该状态,则检查抓取错误。 该示例假定 Hubble 终结点暴露在端口 9965 上;如果您的部署使用的是不同的终结点,请验证该终结点。

将 Grafana 连接到此 Prometheus 数据源。 继续执行步骤 3 中的指标选择,然后在步骤 4 中打开仪表板。

步骤 3:选择要引入的 Hubble 指标

若要限制高基数数据和采集成本,托管 Prometheus 最小采集配置文件 默认不会收集这些指标:

  • hubble_flows_processed_total
  • hubble_flows_to_world_total
  • hubble_port_distribution_total

如果需要这三个指标中的任何一个,请将其名称添加到现有集合配置。 否则,请继续执行步骤 4。

指标必须先在代理的终结点上可用,然后才能被采集。 若要在 Cilium 上启用可选的世界或目标端口的指标,请参阅 配置容器网络指标筛选。

按照以下部分中关于您的 Prometheus 后端的说明进行操作。

允许托管 Prometheus 中的指标系列

使用所选内容更新 kube-system 中 ama-metrics-settings-configmap ConfigMap 里的 networkobservabilityHubble 允许列表。 此更改允许收集器从代理的 Prometheus 指标终结点包含这些指标。

Important

将指标名称追加到现有值;不要仅用新名称替换它。 保留现有名称和模式,以便仪表板和警报使用的指标继续被采集。 如果该值已经为 hubble.*,则无需更改:它包括代理公开的所有 Hubble 指标。

  1. 如果 ConfigMap 不存在,请使用 自定义 Prometheus 抓取中支持的模板创建它。 如果已存在,请先备份它,然后再进行更改:

    kubectl get configmap ama-metrics-settings-configmap -n kube-system \
      -o yaml > ama-metrics-settings-before.yaml
    

    在继续之前解决任何错误。

  2. 打开 ConfigMap 进行编辑。 在架构 v2 中,在 networkobservabilityHubble 下的 data.cluster-metrics 部分中查找 default-targets-metrics-keep-list。 保留 ConfigMap 的现有模式和其他设置。

    kubectl edit configmap ama-metrics-settings-configmap -n kube-system
    
  3. 保持启用最小数据采集。 将每个附加指标名称添加到 现有networkobservabilityHubble 值,并用 | 分隔。 例如,如果当前值为:

    networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total"
    

    若要同时引入流指标,请将其更改为:

    networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total"
    

    使用自己的现有值作为起点,而不是示例值。 此设置不是完整的 ConfigMap。 收集更多指标会增加摄取量和成本。

  4. 保存并关闭编辑器。 允许收集器重新加载设置,然后在 Prometheus 中查询每个添加的指标。 对于前面的示例,在相关流量流动时查询 hubble_flows_processed_total 和检查最近的样本。 此外,请查询现有指标(例如 hubble_dns_queries_total,如果已收集它),以确认它仍会收到新样本。 在继续执行步骤 4 之前,请检查使用这些指标的仪表板和警报。

允许您自己的 Prometheus 中的指标系列

将附加指标名称追加到现有作业的 metric_relabel_configs keep 表达式中,用 | 分隔。 保留所有现有名称和模式。 例如,如果当前表达式为 hubble_dns_queries_total|hubble_drop_total,请按如下所示添加流指标:

metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total'
    action: keep

使用自己的现有表达式作为起点。 更新现有保留规则,而不是追加第二个保留规则;第二个保留规则可以丢弃第一个保留规则保留的指标。 验证并重新加载配置。 查询每个新增指标,例如 hubble_flows_processed_total,以及 Prometheus 中的现有指标。 确认两者在相关流量流动时都会收到最近的样本,然后在步骤 4 中打开网络仪表板。

步骤 4:查看 ACNS 网络仪表板

Azure 门户

启用Azure Monitor集合后,打开网络仪表板:

  1. 在 Azure 门户中打开 AKS 群集。
  2. 在监控下,选择使用 Grafana 的仪表板。
  3. 从列表中选择一个仪表板,然后选择命名空间或工作负荷以及网络活动的时间范围。

有关详细信息,请参阅 在 AKS 中将仪表板与 Grafana 配合使用。

可用的网络仪表板

使用以下六个 Kubernetes/网络 仪表板浏览群集的网络活动。 仅向使用自己的 Grafana 的客户提供导入 ID;内置Azure门户仪表板不需要它们。

Dashboard Use 导入 ID
Clusters 节点级网络运行状况;除了 Hubble 作业之外,还需要节点级指标。 18814
DNS (群集) 跨群集或所选节点的 DNS 指标。 20925
DNS(工作负载) 所选工作负荷的 DNS 行为。 20926
下降(工作负荷) 观察到与工作负载相关的下降情况。 20927
Pod 流(命名空间) 涉及命名空间中的 Pod 的流观察。 20928
Pod 流(工作负荷) 涉及工作负载的流量观测。 20929

从 群集 开始进行节点级网络运行状况分析,然后打开工作负载或命名空间仪表板,调查流量、丢包或 DNS 行为。 启用监视或更改保留列表后,请预留收集延迟时间。

DNS 面板需要 DNS 可见性。 Pod Flows 面板需要在步骤 3 中配置的保留列表中包含 hubble_flows_processed_total。 空面板可能意味着没有匹配的流量、缺少的集合或不正确的时间范围或选择。 这不一定意味着存在网络问题。

可选:使用单独的 Grafana 部署

如果已使用 Azure 托管 Grafana,则可以将其连接到 Azure Monitor 工作区,并在仪表板>Azure Managed Prometheus下使用Kubernetes / Networking / ...仪表板。 Azure 托管 Grafana是单独的付费服务,而不是门户仪表板的先决条件。

对于你自己的 Grafana,请使用上表中的 ID 导入仪表板,并选择 Prometheus 数据源。

对缺少的指标进行故障排除

问题 检查
监视 Pod 未准备就绪或目标不可用 收集器运行状况、Kubernetes 发现权限和对代理终结点的网络访问。
Agent 有指标,但 Prometheus 没有 目标启用、keep-list 表达式、抓取错误和摄取延迟。
代理端不存在可选指标 Cilium/API 支持、CNM 状态和警告、匹配流量以及指标的计数规则。
Grafana 未显示任何数据,但 Prometheus 具有样本 数据源、访问权限、群集/工作负荷标签和时间范围。
DNS 或 HTTP 面板为空 协议可见性和指标可用性;抓取不会启用查看。
旧系列在筛选器更改后仍保留 比较最新的计数器更改。 筛选器不会删除历史样本。

清理资源

仅将调查期间所做的更改还原到 CNM 和 Prometheus 允许列表。 保留其他团队使用的设置以及自备份以来所做的任何更改。 仅当该条目启用了该指标时,删除 CNM 条目才会禁用可选指标;服务提供的指标保持启用状态。 删除筛选器可以扩大采集范围。 历史样本仍受后端保留策略限制。

仅当你专门为此练习创建了资源组,并且没有人需要其中的任何资源时,才删除该资源组。 以下命令删除该组中的群集和其他所有资源:

az group delete --name "$RESOURCE_GROUP"

后续步骤