Azure Kubernetes 服务 (AKS) 的高级容器网络服务中的容器网络指标可帮助你识别数据包丢失、跟踪网络活动并调查 DNS 行为。 首先使用节点级指标来查找网络运行状况问题,然后使用 Pod 级指标来标识所涉及的工作负荷。
指标集合可用于受支持的 Cilium 和非 Cilium 数据平面。 Pod 级指标需要 Linux;引用表显示哪些节点级指标也可用于Windows。
指标收集概览
使用此表可跨数据平面检查指标收集支持:
| 能力 | Cilium 群集 | 非 Cilium 群集 |
|---|---|---|
| 节点级指标集合 | ✅ | ✅ |
| Pod 级指标集合 | ✅ (Linux) | ✅ (Linux) |
进行初始收集时,请按照 设置容器网络指标。 有关单个流量详细信息(而不是计数器)的记录,请使用 容器网络日志。
Important
从 2025 年 11 月 30 日开始,Azure Kubernetes 服务(AKS)不再支持或提供 Azure Linux 2.0 安全更新。 Azure Linux 2.0 节点映像在 202512.06.0 版中被冻结。 从 2026 年 10 月 31 日开始,节点映像将被移除,并且你将无法缩放节点池。 迁移到受支持的 Azure Linux 版本,方法是将节点池升级到受支持的 Kubernetes 版本或迁移到 osSku AzureLinux3。 有关详细信息,请参阅 GitHub 退役问题和 Azure 更新退役公告。 若要随时了解公告和更新,请按照 AKS 发行说明进行操作。
主要优势
节点和 Pod 级粒度。 在基础设施运行状况中,在节点级别监控流量、丢包率和连接状态。 深入分析带有源标签和目标标签的单个 Pod,以查明导致问题的确切工作负荷。
更快的故障排除速度。 当服务开始删除数据包或 DNS 查询失败时,Pod 级指标可帮助你将问题隔离到特定的 Pod、命名空间或协议。
内置可视化功能。 使用 借助 Grafana 的仪表板 在 Azure Monitor 托管的 Prometheus 服务中存储指标,并直接在 Azure 门户中打开网络仪表板。 仪表板体验是免费的,不需要Azure 托管 Grafana实例;ACNS 和指标引入和存储费用仍适用。 还可以使用单独的 Grafana 部署。
工作原理
每个节点上的代理堆栈取决于数据平面,如下图所示。
Linux Cilium 节点 使用基于分层的 eBPF 堆栈:eBPF 内核挂钩捕获原始流量数据,Cilium 处理数据,Hubble 将其公开为 Prometheus 格式指标。
Linux 非 Cilium 节点使用 eBPF 内核挂钩将信息发送到 Microsoft Retina,顶部有 Hubble 层用于流量检查。 Microsoft Retina 以 Prometheus 格式处理指标收集和导出节点级和 Pod 级指标。
从所有路径中,可以抓取 Prometheus 格式的指标,并将其引入 Azure Monitor 托管的 Prometheus 服务或你自己的 Prometheus 后端。 对于托管路径,请在 Azure 门户中打开 AKS 群集,然后选择 监视> 以查看网络仪表板。 Azure 托管 Grafana和你自己的 Grafana 部署是可选的替代方法。 请参阅 在 AKS 中将仪表板与 Grafana 配合使用。
若要开始, 请设置容器网络指标。
何时使用容器网络指标
容器网络指标专为需要集中、可操作的网络数据而不是原始遥测的团队设计。 常见方案包括:
- 调试特定的工作负荷。 使用 Pod 级指标来隔离特定服务的数据包丢弃、TCP 重置或 DNS 故障。
- 监控多租户群集。 使用 Pod 级指标按命名空间跟踪网络运行状况,并了解每个团队的流量模式。
- 容量规划。 跟踪每个节点的转发和丢弃的字节计数,以识别拥塞的链路或不均衡的工作负荷分配。
- DNS 运行状况监测。 揭示 DNS 查询失败和解析时间缓慢的问题,以便在问题波及到应用程序错误之前进行捕获。
在您查看指标表之前
请记住以下几点:
- 节点级指标可用于受支持的 Cilium 和非 Cilium 数据平面。
- Linux 上提供了 Pod 级指标。
- 在 Cilium 群集上,DNS 指标需要 Cilium FQDN 网络策略。
指标参考
节点级指标
节点级指标提供每个节点的聚合流量统计信息- 转发和丢弃的数据包、字节计数和连接状态。 这些指标以 Prometheus 格式存储,可在 Grafana 中可视化。
以下指标按节点汇总。 所有指标都包含以下标签:
cluster-
instance(节点名称)
Cilium
对于 Cilium 数据平面群集,节点级指标仅在 Linux 上可用。 Cilium 公开容器网络指标使用的以下指标:
| 指标名称 | Description | 额外的标签 | Linux | Windows操作系统 |
|---|---|---|---|---|
| cilium_forward_count_total | 转发的数据包总计 | direction |
✅ | ❌ |
| cilium_forward_bytes_total | 转发字节数总计 | direction |
✅ | ❌ |
| cilium_drop_count_total | 丢弃的数据包总计 |
direction、reason |
✅ | ❌ |
| cilium_drop_bytes_total | 删除的字节总计 |
direction、reason |
✅ | ❌ |
非 Cilium
对于非 Cilium 数据平面方案,容器网络指标适用于 Linux 和 Windows。
| 指标名称 | Description | 额外的标签 | Linux | Windows操作系统 |
|---|---|---|---|---|
| networkobservability_conntrack_bytes_rx | Conntrack RX 字节计数 | ✅ | ❌ | |
| networkobservability_conntrack_bytes_tx | Conntrack TX 字节计数 | ✅ | ❌ | |
| networkobservability_conntrack_packets_rx | Conntrack RX 数据包计数 | ✅ | ❌ | |
| networkobservability_conntrack_packets_tx | Conntrack TX 数据包计数 | ✅ | ❌ | |
| networkobservability_conntrack_total_connections | Conntrack 连接总数 | ✅ | ❌ | |
| networkobservability_dns_request_count | DNS 请求计数 | ✅ | ❌ | |
| networkobservability_dns_response_count | DNS 响应计数 | ✅ | ❌ | |
| networkobservability_drop_bytes | 删除的字节总计 |
reason、direction |
✅ | ❌ |
| networkobservability_drop_count | 丢弃的数据包总计 |
reason、direction |
✅ | ✅ |
| networkobservability_forward_bytes | 转发字节数总计 | direction |
✅ | ✅ |
| networkobservability_forward_count | 转发的数据包总计 | direction |
✅ | ✅ |
| networkobservability_infiniband_counter_stats | InfiniBand 计数器统计信息 |
statistic_name、device、port |
✅ | ❌ |
| networkobservability_infiniband_status_params | InfiniBand 状态参数 |
statistic_name、interface_name |
✅ | ❌ |
| networkobservability_interface_stats | 接口统计信息(rx/tx 数据包、删除等) |
interface_name、statistic_name |
✅ | ❌ |
| networkobservability_ip_connection_stats | IP 连接统计信息 | statistic_name |
✅ | ❌ |
| networkobservability_node_apiserver_handshake_latency | 对 API 服务器的 TCP 握手延迟 | ✅ | ❌ | |
| networkobservability_node_apiserver_latency | 节点到 API 服务器的延迟 | ✅ | ❌ | |
| networkobservability_node_apiserver_no_response | 没有来自 API 服务器计数的响应 | ✅ | ❌ | |
| networkobservability_node_connectivity_latency_seconds | 节点到节点连接延迟 |
source_node_name、target_node_name |
✅ | ✅ |
| networkobservability_node_connectivity_status | 节点到节点连接状态(ICMP/HTTP) |
source_node_name、target_node_name |
✅ | ✅ |
| networkobservability_tcp_connection_remote | 按远程 IP 统计的 TCP 活动套接字数 | address |
✅ | ❌ |
| networkobservability_tcp_connection_stats | TCP 连接统计信息(例如 DelayedACKs、TCPKeepAlive、TCPSackFailures) | statistic_name |
✅ | ✅ |
| networkobservability_tcp_flag_gauges | 按标志排序的 TCP 数据包计数 |
direction、flag |
❌ | ✅ |
| networkobservability_tcp_retransmission_count | TCP 重传次数 | ✅ | ❌ | |
| networkobservability_tcp_state | 按状态分类的 TCP 活动套接字计数 | state |
✅ | ❌ |
| networkobservability_udp_connection_stats | UDP 连接统计信息 | statistic_name |
✅ | ❌ |
| networkobservability_windows_hns_stats | Windows HNS 统计信息(发送和接收的数据包) | direction |
❌ | ✅ |
Pod级指标 (Hubble指标)
Pod 级指标包括源 Pod 和目标 Pod 信息,因此可以在单个工作负荷级别查明网络问题。 这些指标涵盖流量、丢弃的数据包、TCP 重置和第 4 层/第 7 层流。
默认情况下,非 Cilium 数据平面上收集 DNS 指标(查询计数、响应代码和错误)。 在 Cilium 数据平面上,DNS 指标需要 Cilium FQDN 网络策略。 还可以使用 Hubble CLI 实时对 DNS 进行故障排除。
下表描述了汇总到每个 Pod 的指标(节点信息已保留)。
所有指标包括标签:
clusterinstance(节点名称)source或destination对于 传出流量,
source标签用于指示源 Pod 的命名空间和名称。对于 传入流量,
destination标签指示了目标 Pod 的命名空间和名称。
| 指标名称 | Description | 额外的标签 | Linux | Windows操作系统 |
|---|---|---|---|---|
| hubble_dns_queries_total | DNS 请求总数(按查询) |
source 或 destination、query、qtypes(查询类型) |
✅ | ❌ |
| hubble_dns_responses_total | DNS 响应总数(按查询/响应) |
source 或 destination、query、qtypes(查询类型)、rcode(返回代码)、ips_returned(IP 数) |
✅ | ❌ |
| hubble_drop_total | 丢弃的数据包总计 |
source 或 destination、protocol、reason |
✅ | ❌ |
| hubble_tcp_flags_total | 按标志排序的 TCP 数据包计数总计 |
source 或 destination、flag |
✅ | ❌ |
| hubble_flows_processed_total | 处理的网络流总数(第 4 层/第 7 层流量) |
source 或 destination、protocol、verdict、type、subtype |
✅ | ❌ |
选择要在 Cilium 群集上收集的指标
在 Cilium 群集上,使用 源级筛选 来选择哪些观察结果有助于各个 Hubble 指标,并在这些指标到达监控后端之前完成筛选。 此筛选不同于筛选 Grafana 仪表板,后者仅更改你看到的内容。 将收集范围缩小到应用程序,然后在调查需要该详细信息时选择性地启用外部 IP 或目标端口指标。
筛选可以减少不必要的收集,并帮助控制数据摄取成本。 其他指标可以增加时序计数和成本,因此在扩大这些指标之前,请验证其价值和数量。 以前创建的系列和历史样本可以保持可见;节省取决于流量和配置。
启用容器网络可观测性时,代理会公开服务的默认网络指标。 在 Cilium 群集上,使用 ContainerNetworkMetric 自定义资源按各个指标类型筛选流量。
使指标在群集上可用不会自动使其在 Prometheus 的Azure Monitor托管服务中可用。 默认情况下,群集代理公开 hubble_flows_processed_total,但托管 Prometheus 会将其排除在收集范围之外,因为它可以生成大量的时序。 托管 Prometheus 默认也会排除 hubble_flows_to_world_total 和 hubble_port_distribution_total,即使在群集上启用它们也是如此。 若要收集和查询这些指标中的任何一个,请在 ama-metrics-settings-configmap ConfigMap 中将其名称添加到 Hubble 允许列表中。
有关步骤,请参阅 允许托管 Prometheus 中的指标系列。
每个群集有一个共享 ContainerNetworkMetric 资源,命名 container-network-metric。 与其他管理员协调更新,并保留其他团队使用的指标设置。
从包含筛选器开始,为应用程序或目标选择流量。 排除筛选器是可选的:使用它们排除所选流量中的一部分,或使用仅排除筛选器来保持广泛收集,但有特定例外。 排除项的优先级高于匹配的包含项。
筛选不限于可选的全球和目标端口指标。 对现有指标使用以下配置名称:
| 指标类型 | spec.filters[].metric |
示例筛选任务 |
|---|---|---|
| DNS | dns |
选择从应用程序客户端发出或发往应用程序客户端的 DNS 观察值。 |
| TCP | tcp |
为具有特定标签的 Pod 选择 TCP 观察值。 |
| HTTP | httpV2 |
选择涉及应用程序的 HTTP 观测。 |
| Flow | flow |
按工作负载或安全标识选择流观察。 |
| Drop | drop |
为应用程序选择丢弃观测值;(可选)从广泛收集中排除负载测试观测值。 |
当服务的基本配置中存在指标时,这些筛选器适用。 筛选器配置和观察生成是独立的:DNS 指标观察需要应用的 DNS 检查策略和 DNS 流量。
HTTP 指标观察要求启用群集级别 L7、应用于工作负荷的 HTTP 检查策略,以及通过该策略的 HTTP 流量。
筛选器状态并不能确认这些先决条件。 过滤不会启用检查或解密 HTTPS 流量。
对于 HTTP,请使用区分大小写的名称 httpV2,而不是 http。
有关示例,请参阅 DNS、TCP、HTTP 和丢弃筛选。
例如,使用 include 筛选器来选择从 production 命名空间到 Cilium 归类为 world 的端点的 TCP 流量的流指标。 这会更改流指标集合,而不更改其他指标类型的集合。 筛选器支持命名空间和 Pod 名称、标签、IP 地址、Cilium 安全标识、协议和判决。
筛选决定哪些观测数据会计入某项指标。 它不会添加或删除指标标签。 与日志的其他聚合字段不同,指标维度仍由服务管理。
筛选会影响源处的新指标观测值。 在 Grafana 中选择工作负荷会更改显示的结果,而不是集合配置。 以前收集的数据保留在指标后端系统中。
其他指标
若要收集以下任一指标,请向群集的 ContainerNetworkMetric 资源添加一个条目,其中包含用于选择要监视的流量的筛选器。 如果尚未启用指标,则条目会为所选流量启用该指标。 如果已启用,则该条目会筛选哪些流量会计入该条目,而无需更改其现有标签或选项。
| Metric | Use | 统计内容 |
|---|---|---|
hubble_flows_to_world_total |
确定 Cilium 分类为 world 终结点的所选 TCP 流量的目标 IP 地址。 配置为 flows-to-world. |
非回复 TCP SYN 观察。 使用服务的仅限 SYN 配置时,不会计算 UDP 流量。 |
hubble_port_distribution_total |
按协议和目标端口检查所选流量。 配置为 port-distribution. |
被标识为非回复流量的转发或重定向观测结果。 丢失的流量和具有未知回复状态的流量不会计入。 |
对于通过此资源新启用的指标,该服务为 flows-to-world 配置源 Pod 和目标 IP 标签。 对于 port-distribution,它配置源和目标 Pod 标签以及流量方向。 协议和裁决标签包括用于 flows-to-world;协议和目标端口标签包括用于 port-distribution。 使用这些服务提供的选项,世界指标不会对 UDP 流量或非策略丢弃进行计数。
这些指标统计观察到的网络事件,而不是唯一的连接或应用程序请求。 例如,如果客户端发送 TCP SYN 数据包,然后在尝试连接时重新传输它,即使它们属于同一连接尝试, hubble_flows_to_world_total 也可以计算这两个观察值。 仅当该信息可用于观察到的流量时,才会填充 Pod 名称等标签。
有关从测试工作负荷收集的这两个指标的完整自定义资源和屏幕截图,请参阅 示例配置和捕获的结果。
管理数据相关性和噪声
使用筛选将指标集中在与监视或调查相关的工作负载和流量上。 排除不相关的流量可减少数据干扰,并帮助你专注于重要的网络信号。
目标 IP 地址、Pod 名称和端口可以生成许多时间序列。 此详细信息可能很有用,但为不相关的流量收集它会增加噪音,并可能会增加数据引入成本。 从特定的工作负荷或命名空间开始,查看指标是否能回答你的问题,并在扩大采集范围之前检查生成的数据量。
自定义资源会针对每个已启用的额外指标报告一条警告。 该警告提示可能会增加费用;它不会估算帐单或表明已超出某个限制。 该服务管理指标标签,无法通过此资源更改它们。
仅当该项是启用该指标的原因时,删除该项才会禁用该指标。 如果服务提供该指标,它在没有该条目筛选器的情况下仍将保持启用状态。 删除共享资源会删除其所有筛选器并还原服务提供的集合,这可能会扩大这些指标中包含的流量,并增加数据干扰和数据摄取量。
有关 YAML 示例、验证查询和清理步骤,请参阅 配置容器网络指标筛选。
局限性
平台和数据平面:
- Pod 级指标仅在 Linux 上可用。
- 从 Kubernetes 版本 1.29 开始,支持 Cilium 数据平面。
- 源级指标筛选仅适用于 Cilium 群集。
- 当服务尚未提供它们时,筛选器条目可以启用
flows-to-world和port-distribution。 该服务管理其标签;此资源不公开自定义指标维度。 - 指标标签在 Cilium 和非 Cilium 群集之间存在细微差异。
DNS 指标:
- 在 Cilium 群集上,DNS 指标需要 Cilium FQDN 网络策略,也可以使用 Hubble CLI 进行实时 DNS 故障排除。
已知问题:
- 如果 Hubble 节点代理出现故障,Hubble 中继可能会崩溃,这可能会中断 Hubble CLI 会话。
FIPS 支持(仅限不使用 Cilium 的数据平面):
- 由于内核限制,FIPS 在 Ubuntu 20.04 节点上不可用。 请改用 Azure Linux 或 Ubuntu 22.04 节点池。 此限制不适用于 Cilium 数据平面。
| 操作系统 | FIPS 支持 |
|---|---|
| Azure Linux 3.0 | 是的 |
| Azure Linux 2.0 | 是的 |
| Ubuntu 20.04 | No |
| Ubuntu 22.04 | 是的 |
规模:
- Azure Monitor 和 Azure 托管 Grafana 中适用于 Prometheus 的托管服务施加特定于服务的缩放限制。
Pricing
Important
高级容器网络服务是一项付费服务。
相关内容
- 设置容器网络指标
- 配置容器网络指标筛选
- AKS 的高级容器网络服务
- 高级容器网络服务中的容器网络可观测性
- 高级容器网络服务中的容器网络安全