使用容器网络指标识别数据包丢弃、调查 DNS 行为,并查找网络问题所涉及的工作负载。 本指南在 Azure Kubernetes 服务 (AKS) 上启用收集,将其连接到 Prometheus 后端,并演示如何在 ACNS Grafana 仪表板中查看网络运行状况。
使用 Azure Monitor 托管的 Prometheus 服务,并在 Azure 门户中直接查看网络仪表板。 门户的 Grafana 仪表板不收取额外的仪表板费用;无需创建Azure 托管 Grafana实例。 或者,使用自己的 Prometheus 和 Grafana 部署。 指标集合可用于受支持的 Cilium 和非 Cilium 数据平面;Pod 级指标需要 Linux。 请参阅平台覆盖范围和可用指标的 指标概述 。
在 Cilium 群集上,可以按工作负荷或安全标识筛选各个指标,或者为外部目标 IP 和目标端口启用指标。 这些是可选的后续步骤,而不是基本收集的要求。
例如,从包含过滤器开始,从一个应用程序收集流指标。 仅当需要例外情况时添加排除筛选器,例如排除发往特定目标的流量。 若要在删除负载测试产生的丢弃观测数据时保留广泛的集合,请改用仅排除筛选器。 请参阅 指标筛选示例。
| Step | 结果 |
|---|---|
| 1.启用 ACNS 并连接到群集 | 支持节点上提供网络可观测性。 |
| 2.选择集合路径 | 托管或自托管 Prometheus 会抓取代理指标。 |
| 3.允许默认排除的指标(如果需要) | Prometheus 从代理的指标终结点收集所需的指标。 |
| 4.打开网络仪表板 | 可以在Azure门户或自己的 Grafana 部署中查看网络运行状况和工作负荷流量。 |
有关存储的日志或实时 Hubble 检查(而不是指标),请参阅 设置容器网络日志。
Important
Azure门户仪表板体验是免费的。 ACNS 和指标摄取及存储仍会产生费用。 尽可能使用现有的受支持的群集和监视资源。
先决条件
- 具有活动订阅的 Azure 帐户。 如果需要,请创建 试用版。
- 在本地 Bash 终端中,使用当前的 Azure CLI和
kubectl运行 Bash。 运行az --version以检查 CLI 安装。 - 创建或更新群集和所选监视资源的权限,以及对保存指标的 Azure Monitor 工作区的读取访问权限。 有关托管路径,请查看Azure Monitor先决条件。
- 支持的 AKS Kubernetes 版本和节点操作系统。 不要在已停用Azure Linux 2.0 映像上创建新的节点池。 请参阅 升级节点操作系统。
- 运行有网络活动的工作负载以填充工作负载仪表板。 空群集不会显示应用程序流量。
- 对于 Cilium 上的 DNS 指标,请通过应用 DNS 检查策略并生成 DNS 流量来配置 DNS 可见性。 对于 HTTP 指标,完成 第 7 层策略配置:在群集上启用 L7,将 HTTP 检查策略应用于工作负荷,并通过该策略生成 HTTP 流量。 配置指标筛选器不会应用这些策略或验证是否生成观测结果。 基本节点级网络监视不需要这两个。
步骤 1:启用 ACNS 并连接到群集
如果您使用本地 CLI,请使用 az login 登录。 选择订阅并设置本指南中使用的值:
az account set --subscription "<subscription-id>"
export RESOURCE_GROUP="<aks-resource-group>"
export CLUSTER_NAME="<aks-cluster-name>"
export LOCATION="<azure-region>"
使用现有群集
如果 ACNS 已启用,则跳过更新命令。 否则,请启用它:
az aks update \
--resource-group "$RESOURCE_GROUP" \
--name "$CLUSTER_NAME" \
--enable-acns
启用 ACNS 不会更改现有群集的数据平面。 指标筛选和稍后所述的其他指标启用需要 Cilium。 有关其他 ACNS 功能及其先决条件,请参阅 ACNS 概述。
或创建新群集
创建资源组(如果尚不存在):
az group create --name "$RESOURCE_GROUP" --location "$LOCATION"
选择以下选项 之一 。 这些命令使用区域的默认 AKS Kubernetes 版本,而不是固定旧版本。 若要选择另一个受支持的版本,请检查 az aks get-versions --location "$LOCATION" -o table 并添加 --kubernetes-version,并指定所选版本。
Cilium
如果计划使用源级指标筛选或附加的 external-IP 和 destination-port 指标,请选择 Cilium:
az aks create \
--name "$CLUSTER_NAME" \
--resource-group "$RESOURCE_GROUP" \
--generate-ssh-keys \
--location "$LOCATION" \
--network-plugin azure \
--network-plugin-mode overlay \
--network-dataplane cilium \
--node-count 2 \
--pod-cidr 192.168.0.0/16 \
--enable-acns
非 Cilium
此选项支持收集可用于非 Cilium 数据平面的指标。 它不提供特定于 Cilium 的 CNM 筛选路径或容器网络安全功能。 有关 FIPS 限制,请参阅 度量平台限制。
az aks create \
--name "$CLUSTER_NAME" \
--resource-group "$RESOURCE_GROUP" \
--generate-ssh-keys \
--location "$LOCATION" \
--network-plugin azure \
--network-plugin-mode overlay \
--pod-cidr 192.168.0.0/16 \
--enable-acns
获取群集凭据
对于新群集或现有群集,请连接并确认当前上下文:
az aks get-credentials --name "$CLUSTER_NAME" --resource-group "$RESOURCE_GROUP"
kubectl config current-context
kubectl get nodes
如果上下文不是预期的群集或命令失败,请停止。 在继续之前解决连接、权限或节点就绪性问题。
步骤 2:选择集合路径
| 路径 | 在以下情况下选择它 |
|---|---|
| Azure托管 Prometheus 和门户仪表板 | 需要托管指标存储和内置网络仪表板,而无需创建 Grafana 实例。 |
| 你自己的 Prometheus 和 Grafana | 你已经在运行一套监控栈,并想要向其中添加网络指标。 |
首先配置一个路径。 如果已成功收集网络指标,请保留该设置并继续执行步骤 3 或步骤 4。 配置重复的抓取会增加摄取量并扭曲查询。
Azure 托管的 Prometheus 和门户仪表板
将 Azure Monitor 工作区用于 Prometheus 指标。 Log Analytics工作区存储日志,不能替代此指标工作区。
以下示例在群集的资源组中创建Azure Monitor工作区。 如果已有工作区,请将 AZURE_MONITOR_NAME 设置为其名称,跳过创建,并使用其实际资源组获取其 ID。
使用 Azure Monitor 工作区支持的位置。
创建或选择Azure Monitor工作区
export AZURE_MONITOR_NAME="<azure-monitor-name>"
az resource create \
--resource-group "$RESOURCE_GROUP" \
--namespace Microsoft.Monitor \
--resource-type accounts \
--name "$AZURE_MONITOR_NAME" \
--location "$LOCATION" \
--properties '{}'
启用托管 Prometheus 采集
获取Azure Monitor工作区资源 ID:
azuremonitorId=$(az resource show \
--resource-group "$RESOURCE_GROUP" \
--name "$AZURE_MONITOR_NAME" \
--resource-type "Microsoft.Monitor/accounts" \
--query id --output tsv)
检查命令是否存在错误,并在继续操作之前确认 azuremonitorId 是否包含预期工作区的资源 ID。 启用抓取:
az aks update \
--name "$CLUSTER_NAME" \
--resource-group "$RESOURCE_GROUP" \
--enable-azure-monitor-metrics \
--azure-monitor-workspace-resource-id "$azuremonitorId"
验证Azure Monitor指标 Pod:
kubectl get pods -n kube-system -o wide | grep ama-metrics
在检查数据之前解决未就绪的 Pod。 单独运行 Pod 并不能保证成功的抓取或摄取。 有关权限或收集问题,请按照 启用对 AKS 的监视操作操作。
Azure门户仪表板不需要单独的 Grafana 资源或 Grafana 链接。 继续选择指标,然后在步骤 4 中打开网络仪表板。
你自己的 Prometheus 和 Grafana
使用现有的 Prometheus 部署,该部署可以发现 Kubernetes Pod 并访问代理指标终结点。 首先配置其 Kubernetes API 身份验证、RBAC 和网络访问。 以下示例介绍 Hubble Pod 级指标;它未配置节点级 Cilium 或 Retina 指标。
将此作业添加到现有 scrape_configs 列表,保留其他作业。 如果由 Operator 管理你的 Prometheus,请使用其支持的配置机制,而不是编辑生成的配置文件。 将 myAKSCluster 替换为你的群集标签:
scrape_configs:
- job_name: networkobservability-hubble
kubernetes_sd_configs:
- role: pod
relabel_configs:
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_label_k8s_app]
regex: 'kube-system;(retina|cilium)'
action: keep
- source_labels: [__meta_kubernetes_pod_phase]
regex: Running
action: keep
- source_labels: [__meta_kubernetes_pod_ip]
regex: '([^:]+)'
replacement: '$1:9965'
target_label: __address__
- source_labels: [__meta_kubernetes_pod_ip]
regex: '(.+:.*)'
replacement: '[$1]:9965'
target_label: __address__
- target_label: cluster
replacement: myAKSCluster
- source_labels: [__meta_kubernetes_pod_node_name]
target_label: instance
metric_relabel_configs:
- source_labels: [__name__]
regex: 'hubble_dns_queries_total|hubble_dns_responses_total|hubble_drop_total|hubble_tcp_flags_total'
action: keep
如果你的部署中可用,使用 promtool check config "<prometheus-config-file>" 验证合并后的配置,然后按照你正常的操作流程重新加载 Prometheus。 在 “目标”中,检查目标 networkobservability-hubble 是否为 UP。 如果目标未处于该状态,则检查抓取错误。
该示例假定 Hubble 终结点暴露在端口 9965 上;如果您的部署使用的是不同的终结点,请验证该终结点。
将 Grafana 连接到此 Prometheus 数据源。 继续执行步骤 3 中的指标选择,然后在步骤 4 中打开仪表板。
步骤 3:选择要引入的 Hubble 指标
若要限制高基数数据和采集成本,托管 Prometheus 最小采集配置文件 默认不会收集这些指标:
hubble_flows_processed_totalhubble_flows_to_world_totalhubble_port_distribution_total
如果需要这三个指标中的任何一个,请将其名称添加到现有集合配置。 否则,请继续执行步骤 4。
指标必须先在代理的终结点上可用,然后才能被采集。 若要在 Cilium 上启用可选的世界或目标端口的指标,请参阅 配置容器网络指标筛选。
按照以下部分中关于您的 Prometheus 后端的说明进行操作。
允许托管 Prometheus 中的指标系列
使用所选内容更新 kube-system 中 ama-metrics-settings-configmap ConfigMap 里的 networkobservabilityHubble 允许列表。 此更改允许收集器从代理的 Prometheus 指标终结点包含这些指标。
Important
将指标名称追加到现有值;不要仅用新名称替换它。 保留现有名称和模式,以便仪表板和警报使用的指标继续被采集。 如果该值已经为 hubble.*,则无需更改:它包括代理公开的所有 Hubble 指标。
如果 ConfigMap 不存在,请使用 自定义 Prometheus 抓取中支持的模板创建它。 如果已存在,请先备份它,然后再进行更改:
kubectl get configmap ama-metrics-settings-configmap -n kube-system \ -o yaml > ama-metrics-settings-before.yaml在继续之前解决任何错误。
打开 ConfigMap 进行编辑。 在架构 v2 中,在
networkobservabilityHubble下的data.cluster-metrics部分中查找default-targets-metrics-keep-list。 保留 ConfigMap 的现有模式和其他设置。kubectl edit configmap ama-metrics-settings-configmap -n kube-system保持启用最小数据采集。 将每个附加指标名称添加到 现有
networkobservabilityHubble值,并用|分隔。 例如,如果当前值为:networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total"若要同时引入流指标,请将其更改为:
networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total"使用自己的现有值作为起点,而不是示例值。 此设置不是完整的 ConfigMap。 收集更多指标会增加摄取量和成本。
保存并关闭编辑器。 允许收集器重新加载设置,然后在 Prometheus 中查询每个添加的指标。 对于前面的示例,在相关流量流动时查询
hubble_flows_processed_total和检查最近的样本。 此外,请查询现有指标(例如hubble_dns_queries_total,如果已收集它),以确认它仍会收到新样本。 在继续执行步骤 4 之前,请检查使用这些指标的仪表板和警报。
允许您自己的 Prometheus 中的指标系列
将附加指标名称追加到现有作业的 metric_relabel_configs keep 表达式中,用 | 分隔。 保留所有现有名称和模式。
例如,如果当前表达式为 hubble_dns_queries_total|hubble_drop_total,请按如下所示添加流指标:
metric_relabel_configs:
- source_labels: [__name__]
regex: 'hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total'
action: keep
使用自己的现有表达式作为起点。
更新现有保留规则,而不是追加第二个保留规则;第二个保留规则可以丢弃第一个保留规则保留的指标。
验证并重新加载配置。 查询每个新增指标,例如 hubble_flows_processed_total,以及 Prometheus 中的现有指标。 确认两者在相关流量流动时都会收到最近的样本,然后在步骤 4 中打开网络仪表板。
步骤 4:查看 ACNS 网络仪表板
Azure 门户
启用Azure Monitor集合后,打开网络仪表板:
- 在 Azure 门户中打开 AKS 群集。
- 在监控下,选择使用 Grafana 的仪表板。
- 从列表中选择一个仪表板,然后选择命名空间或工作负荷以及网络活动的时间范围。
有关详细信息,请参阅 在 AKS 中将仪表板与 Grafana 配合使用。
可用的网络仪表板
使用以下六个 Kubernetes/网络 仪表板浏览群集的网络活动。 仅向使用自己的 Grafana 的客户提供导入 ID;内置Azure门户仪表板不需要它们。
| Dashboard | Use | 导入 ID |
|---|---|---|
| Clusters | 节点级网络运行状况;除了 Hubble 作业之外,还需要节点级指标。 | 18814 |
| DNS (群集) | 跨群集或所选节点的 DNS 指标。 | 20925 |
| DNS(工作负载) | 所选工作负荷的 DNS 行为。 | 20926 |
| 下降(工作负荷) | 观察到与工作负载相关的下降情况。 | 20927 |
| Pod 流(命名空间) | 涉及命名空间中的 Pod 的流观察。 | 20928 |
| Pod 流(工作负荷) | 涉及工作负载的流量观测。 | 20929 |
从 群集 开始进行节点级网络运行状况分析,然后打开工作负载或命名空间仪表板,调查流量、丢包或 DNS 行为。 启用监视或更改保留列表后,请预留收集延迟时间。
DNS 面板需要 DNS 可见性。 Pod Flows 面板需要在步骤 3 中配置的保留列表中包含 hubble_flows_processed_total。
空面板可能意味着没有匹配的流量、缺少的集合或不正确的时间范围或选择。 这不一定意味着存在网络问题。
可选:使用单独的 Grafana 部署
如果已使用 Azure 托管 Grafana,则可以将其连接到 Azure Monitor 工作区,并在仪表板>Azure Managed Prometheus下使用Kubernetes / Networking / ...仪表板。 Azure 托管 Grafana是单独的付费服务,而不是门户仪表板的先决条件。
对于你自己的 Grafana,请使用上表中的 ID 导入仪表板,并选择 Prometheus 数据源。
对缺少的指标进行故障排除
| 问题 | 检查 |
|---|---|
| 监视 Pod 未准备就绪或目标不可用 | 收集器运行状况、Kubernetes 发现权限和对代理终结点的网络访问。 |
| Agent 有指标,但 Prometheus 没有 | 目标启用、keep-list 表达式、抓取错误和摄取延迟。 |
| 代理端不存在可选指标 | Cilium/API 支持、CNM 状态和警告、匹配流量以及指标的计数规则。 |
| Grafana 未显示任何数据,但 Prometheus 具有样本 | 数据源、访问权限、群集/工作负荷标签和时间范围。 |
| DNS 或 HTTP 面板为空 | 协议可见性和指标可用性;抓取不会启用查看。 |
| 旧系列在筛选器更改后仍保留 | 比较最新的计数器更改。 筛选器不会删除历史样本。 |
清理资源
仅将调查期间所做的更改还原到 CNM 和 Prometheus 允许列表。 保留其他团队使用的设置以及自备份以来所做的任何更改。 仅当该条目启用了该指标时,删除 CNM 条目才会禁用可选指标;服务提供的指标保持启用状态。 删除筛选器可以扩大采集范围。 历史样本仍受后端保留策略限制。
仅当你专门为此练习创建了资源组,并且没有人需要其中的任何资源时,才删除该资源组。 以下命令删除该组中的群集和其他所有资源:
az group delete --name "$RESOURCE_GROUP"