什么是容器网络日志?

Azure Kubernetes 服务 (AKS) 的 高级容器网络服务中的容器网络日志可帮助你调查哪些工作负载进行了通信、它们到达了哪些目标,以及流量是被转发还是被丢弃。 使用指标发现网络问题,然后使用日志检查所涉及的流量。 仅凭流量判定结果并不能确定应用程序请求是否成功。

日志可以包括,具体取决于流类型、可见性配置和保留的聚合字段:

  • 源和目标 IP 地址、Pod 名称和服务名称
  • 命名空间、端口和协议
  • 交通方向和策略决策

在此上下文中,可以将网络行为与特定工作负荷相关联,对连接进行故障排除、验证安全策略和执行取证分析。 容器网络日志涵盖第 3 层(IP)、第 4 层(TCP/UDP)和第 7 层(HTTP/gRPC)流量。

对于存储的日志, 可自定义的流日志聚合 可帮助你平衡操作可见性与数据量和成本。 聚合汇总了类似的观测值,保留工作负荷通信模式以及转发或丢弃的观察值计数。 在服务默认值之外添加分组字段,以便根据需求定制这些摘要。 减少量取决于有多少流量具有相同的分组值。 有关详细信息,请参阅 流日志聚合。

选择收集模式

您的目标 模式 配置内容
保留所选流量记录进行历史调查或警报 Cilium 上的已存储的日志 根据需要自定义流量筛选器和聚合分组字段。 将主机本地日志转发到后端,以便长期保留。
故障排除时检查实时流量 支持的 Cilium 和非 Cilium 群集的按需日志 将 Hubble CLI 或 UI 连接到已启用 ACNS 的群集。 不需要已存储日志资源。

从 设置容器网络日志开始。 本指南将数据收集、可选的 Azure Monitor 转发和验证分开。

存储的日志

在启用了 ACNS 的受支持的 Cilium 群集上,先定义要收集哪些流量,然后才能预期看到已存储的日志。 仅启用服务不会选择流量或配置长期保留。

若要开始收集日志,请定义 ContainerNetworkLog 按命名空间、Pod、标签、IP 地址、数值 Cilium 安全标识、协议或判决选择流量的自定义资源。 配置到达代理后,观察匹配流量的节点写入所选日志。 多个资源可以同时收集流量。

使用筛选器关注重要的流程。 使用 流日志聚合 汇总这些流,并自定义其分组字段以保留你的调查所需的区别。 通过这些控件,你可以定制所收集的内容及其汇总方式。 查看生成的数据量:较窄的筛选器可以减少收集,而更多的分组字段可能会增加记录数。

存储日志模式的工作原理

高级容器网络服务将 eBPF 技术与 Cilium 配合使用来捕获每个节点上的网络流。 启用 ACNS 并 ContainerNetworkLog 应用自定义资源后,Cilium 代理将收集与筛选器匹配的流量,并将 JSON 格式 /var/log/acns/hubble/events.log 的日志写入每个主机上。 日志生成完全在群集内部运行,不依赖于Azure Monitor。

对于生产用途,我们建议启用Azure Monitor加载项。 启用后,Container Insights 代理会收集主机本地日志、应用限流限制,并将其发送到 Log Analytics 工作区,在其中您可以使用长期保留、KQL 查询和内置 Azure 门户以及 Grafana 仪表板。 这是最集成的路径,也是客户最应该选择的路径。

如果您的团队已经有了现有的可观测性管道,则可以将相同的主机本地日志转发到任何与 OpenTelemetry 兼容的收集器或日志记录服务,无论是与 Azure Monitor 一同使用还是替代 Azure Monitor。

容器网络日志工作原理图。

有关限流和容器见解的详细信息,请参阅 Container Insights 文档。

通过或不带Azure Monitor使用容器网络日志

将Azure Monitor用于集成查询和仪表板,或保留现有日志记录管道。

路径 您将获得的内容 何时选择
Azure Monitor加载项(推荐) 容器见解将主机本地日志收集到Log Analytics工作区中,以便在 Azure 门户中进行保留、KQL 查询和内置 Grafana 仪表板。 不需要单独的 Grafana 实例。 您需要集成存储、查询和仪表板。
使用自己的管道托管本地文件 ACNS 将 JSON 日志 /var/log/acns/hubble/events.log 写入每个节点上。 将收集器配置为读取、分析和转发这些文件。 你已经有一个集中式可观察性平台,并希望网络日志存储在那里。

没有转发管道时,日志将保留在轮换的节点本地文件中,且保留时间不足以支持长期调查。

存储日志模式的关键功能

根据需求自定义可观测性:选择要收集的流量以及将流量分组到已存储的日志时要区分的详细信息。

  • 可自定义的筛选器。 定义 ContainerNetworkLog 自定义资源,以按源命名空间或目标命名空间、Pod、标签、IP 地址或 CIDR 范围、Cilium 安全标识、协议或判决选择流量。 与任何已配置资源的筛选器匹配的流量都可被收集,从而让您能够控制收集的内容,并帮助您管理数据摄取量。

  • 可自定义流日志聚合。 使用聚合减少存储的日志量,同时保留网络调查所需的详细信息。 默认情况下,聚合每 30 秒将流观察值与匹配的分组字段值合并到汇总记录中。 添加分组字段以保留超出服务默认值的详细信息。 更多的分组字段可以生成更多记录,因此将聚合与有针对性的筛选器配对,以平衡调查需求与数据摄取和存储成本。 详细了解 流日志聚合。

  • 日志存储选项。 ACNS 始终在每个节点上本地写入日志。 在此处,可以选择如何使用它们:

    • 主机本地文件(始终打开): 日志存储在主机 /var/log/acns/hubble节点上。 文件在达到 50 MB 时自动旋转,旧的日志会被覆盖。 直接将其用于短期实时监视,或将文件转发到任何与 OpenTelemetry 兼容的收集器或日志记录服务,以便进行其他日志管理。

    • Azure Monitor(建议):启用Azure Monitor加载项以在Log Analytics工作区中收集和存储日志。 可以通过 Prometheus 的托管服务获得安全、合规的存储,包括长期保留、KQL 查询、异常情况检测、历史分析和警报。 日志生成仍通过 Cilium 代理和 ContainerNetworkLog CRD 运行;而 Azure Monitor 在其上添加了一个使用层。

      该 ContainerNetworkLogs 表默认使用 Analytics 层。 可以切换到 基本 层,降低引入和保留成本,同时保持类似的可观测性体验。 每个层都有一个专用Azure门户仪表板,针对其查询功能进行了优化。 如需了解有关表计划的更多信息,请参阅 Log Analytics 表计划。 若要了解如何设置表计划,请参阅 “设置表计划”。

  • Azure门户中的可视化效果。 在 Log Analytics 中查询和分析日志,或使用适用于你的表计划的仪表板。 在选择计划之前,请查看计划的查询和保留功能。 有关详细信息,请参阅 Azure 门户中的 Visualize 日志。

在 Azure 门户中可视化日志

为进行详细调查,请在 Azure 门户中的 AKS 群集页面上打开“监视>日志”。 在接收端的 Log Analytics 工作区中,查询ContainerNetworkLogs表。

Log Analytics 工作区中的容器网络日志截图。

在 Azure 门户中的 AKS 群集页面上,选择监视>以查看内置的流日志仪表板。 无需Azure 托管 Grafana实例,仪表板无需额外付费。 ACNS 和日志摄取及保留费用仍适用。

选择与表计划匹配的 ContainerNetworkLogs 仪表板:

Dashboard 路径 表格层级
流日志 - 基本层 (ID: 23155) Azure>监控>容器>网络>流日志 - 基本层 基本
流日志 - 分析层 (ID: 23156) Azure>见解>容器>网络>流量日志 - 分析层级 分析(默认)

这两个仪表板都显示哪些 AKS 工作负载相互通信,包括网络请求、响应、删除和错误。 使用与为 ContainerNetworkLogs 表配置的表级别匹配的仪表板。

Tip

表 ContainerNetworkLogs 默认为 Analytics 层。 基本层具有不同的查询、保留和定价功能。 比较Log Analytics表计划,并使用所选计划的仪表板。 若要更改它,请参阅 “设置表计划”。

Azure门户仪表板具有以下主要组件:

  • 网络运行状况概述。 查看流量摘要以及转发或丢弃的观测结果,然后使用服务依赖项图识别值得调查的通信路径。 特定于协议的详细信息取决于可见性和保留的字段。 聚合观察计数不是唯一的请求计数。

    流日志统计信息和服务依赖项图的屏幕截图。

  • 流日志和错误日志。 仪表板将流日志与错误日志分隔为不同的视图,因此你可以专注于错误,而无需筛选正常流量。 使用内置筛选器按协议、命名空间或判决缩小结果范围。 例如,若要排查 DNS 解析失败问题,请按 DNS 协议筛选错误日志。

    流日志和错误日志的屏幕截图。

    仪表板中提供的详细信息取决于收集的流量和聚合配置。 若要定制存储日志中的详细信息,请参阅 “自定义流日志聚合”。

    使用可用的时间戳和源/目标详细信息将记录与调查相关联。 聚合记录不会为其组中的每个观察提供单独的时间戳。

    Azure 门户仪表板中可用筛选器的截图。

  • 排名靠前的命名空间、工作负载和 DNS 错误。 本部分显示最活跃的命名空间、最高的流量工作负载、端口使用情况和最常见的 DNS 错误。 使用它来确定哪些工作负载生成最多的流量、发现丢弃的请求,以及比较协议分布(例如 TCP 与 UDP)。 此处的异常模式(例如意外高峰或不熟悉的目标)可能表示配置错误或安全问题。

    顶部命名空间和 Pod 指标的屏幕截图。

流日志聚合

繁忙的工作负荷可以在同一终结点之间生成许多重复的流观测记录。 单独存储每个观测记录会增加必须摄取、保留和搜索的数据量,即使当前问题只是哪些工作负载进行了通信,以及其流量是被转发还是被丢弃。

聚合为历史网络调查提供较小数据量的起点。 每个节点合并了在聚合间隔内共享相同分组字段值的所选流观察值。 它不是单独编写每个观察,而是为每个组写入汇总记录,包括入口、出口和未知方向观察的计数。

示例:聚合前后

请考虑两个客户端 Pod(client-1 和 client-2)在一个 30 秒的时间窗口内通过 TCP 端口 80 与一个 server Pod 通信。 每个 Pod 属于同名的单独工作负荷。 以下观察说明连接建立、数据传输和答复。

聚合之前:10 个观察值

源容器组 源端口 目标 Pod 目标端口 协议 TCP 标志(简化)
client-1 12345 服务器 80 TCP SYN
服务器 80 client-1 12345 TCP SYN-ACK
client-1 12345 服务器 80 TCP ACK
client-1 12345 服务器 80 TCP PSH
服务器 80 client-1 12345 TCP ACK
client-2 23456 服务器 80 TCP SYN
服务器 80 client-2 23456 TCP SYN-ACK
client-2 23456 服务器 80 TCP ACK
client-2 23456 服务器 80 TCP PSH
服务器 80 client-2 23456 TCP ACK

对于此图,一个节点在客户端终结点处对每个条目观察一次:客户端到服务器的观测属于出站流量,回复属于入站流量。 所有判决都是 FORWARDED,其他默认分组值在如下所示的每个组中都是相同的。

默认聚合后:四条汇总记录

源工作负荷 目标工作负荷 TCP 目标端口 回复(is_reply) 出站观测次数 入站观测次数
client-1 服务器 80 false 3 0
服务器 client-1 12345 True 0 2
client-2 服务器 80 false 3 0
服务器 client-2 23456 True 0 2

十个观测值变为四条记录,其计数中仍保留全部十个观测值的信息。 仍可以看到哪些工作负荷通信、目标端口和每个方向观察到的卷,而无需单独存储每个 TCP 标志转换。

出于以下原因,这些组保持独立:

  • 不同的工作负荷: 源和目标工作负荷元数据是默认分组字段。
  • 原始流量和回复: 终结点值、目标端口和 is_reply 不同,因此两个方向不会折叠成一条记录。
  • 不同的回复目标端口:12345 和 23456 仍保留为回复流量的目标端口。 默认分组配置不会保留源端口、单个 Pod 名称和 TCP 标志。

默认聚合设置

默认情况下,存储的日志会启用聚合,聚合间隔为 30 秒,并使用下表中列出的默认分组字段。 在每个节点的间隔内,对所有分组字段具有相同值的观察结果合并到汇总记录中。

默认分组字段 保留的信息
verdict 流判决,如 FORWARDED, DROPPED或 ERROR。
is_reply 该观测是否为回复流量。
drop_reason_desc 流量被丢弃的原因。
source.namespace 源命名空间。
destination.namespace 目标命名空间。
source.workloads 源工作负荷元数据,例如部署、StatefulSet 或 DaemonSet。
destination.workloads 目标工作负荷元数据。
source.identity 源端 Cilium 安全标识,包括工作负载元数据不可用时的标识上下文。
destination.identity 目标 Cilium 安全身份。
l4.TCP.destination_port TCP 目标端口。
l4.UDP.destination_port UDP 目标端口。
l7.http.code 配置 HTTP 可见性时,HTTP 响应代码。
l7.dns.rcode 配置 DNS 可见性时 DNS 响应代码。
IP.ipVersion IP 版本:IPv4 或 IPv6。
IP.encrypted 流是否加密。
source.cluster_name 源群集名称。
destination.cluster_name 目标群集名称。

仅当原始流中提供该信息时,字段才能包含一个值。 默认分组不会启用 DNS 或 HTTP 检查。

这些默认值保留工作负荷通信、目标端口、判决和响应代码。 它们不会保留每个流详细信息:单个 Pod 名称、源和目标 IP 地址、客户端源端口、DNS 查询名称和 HTTP URL 不在此默认列表中。

其他字段扩展此列表;它们不会替换它。 使用 spec.aggregation.additionalFields 自定义分组,而无需删除默认字段或更改 30 秒间隔。 重复默认字段不会添加另一个副本。 更改会影响将来的记录,无法恢复从历史日志中省略的详细信息。

自定义流日志聚合

通过选择除服务默认值之外的其他分组字段,根据运维和调查要求定制流日志聚合。 你可以控制汇总日志保留哪些区别,从流量方向和 DNS 请求/响应类型到单个 IP 地址、DNS 名称或 HTTP URL。 选择群集流模式支持的任何字段,以帮助回答对你很重要的问题。

在 ContainerNetworkLog 资源中向 spec.aggregation.additionalFields 添加字段以自定义聚合。 其他字段将成为 分组键:这些字段值不同的流会分别存储在单独的组中。

例如,添加以下字段可分隔原本会共享相同聚合组的观察值:

调查 其他字段 对聚合的影响
观测结果代表什么方向? traffic_direction 当所有其他分组值匹配时,将入口和出口观察值分隔到不同的组中。
哪些 DNS 记录属于响应记录? l7.type 当所有其他分组值匹配时,将 DNS 请求和响应观察分隔成不同的组。 要求原始流中存在 DNS 可见性和第 7 层类型。

这些字段是示例,而不是详尽的允许列表。 可以在 Cilium 的 Flow中指定 Hubble 消息中的有效字段路径。 使用群集上运行的 Cilium 版本支持的字段;所链接的 main 分支可以包含群集尚不支持的字段。 原始流必须包含字段的值,该值才会被保留。

需要该级别的详细信息时,可以使用更高基数字段,例如 IP 地址、单个 Pod 名称、源端口、DNS 名称和 HTTP URL。 由于它们可以具有许多不同的值,因此启用它们可以提高群集中的日志量和引入和存储成本。 在启用它们之前,请评估预期的用量、成本和敏感数据影响。 然后监视使用情况,以在所需详细程度与预算之间取得平衡。

在每个观察到匹配流量的节点上,包含保留字段的日志将写入 /var/log/acns/hubble/events.log。 配置 Azure Monitor 转发时,可以使用 ContainerNetworkLogs 表中可用的列(包括其动态列中表示的保留属性)查询 Log Analytics 中收集的日志。 使用表架构标识查询中要引用的列或动态属性。

按安全标识选择流量

使用源或目标筛选器中的 Cilium 安全标识选择要记录的流量。 将标识筛选器与命名空间、Pod、协议或判定条件组合。 例如,选择从命名空间到被 Cilium 归类为 world 的端点的 TCP 流量。

安全身份是 Cilium 对端点的分类,而不是 Azure 托管标识或用户标识。 配置接受数字 ID,而不是别名,例如 world。 请参阅 标识示例和值。

可自定义的筛选器和聚合提供补充控件:筛选器选择要收集的流,而其他分组字段可自定义群集中所有选定流的汇总方式。

了解范围和成本

其他字段适用于 群集中所有选定的存储日志。 它们不限于请求它们的资源中的筛选器。

例如,如果一个资源请求 l7.type 和另一个请求 traffic_direction,这两个字段将成为群集分组配置的一部分。 仅当没有其他有效资源请求它时,删除第一个资源才会删除其字段。 服务提供的字段保持不变。

设置 Scope Effect
包含筛选器 每个日志资源所选中的流量 匹配任何资源的筛选器都可以使流程符合收集条件。
附加分组字段 群集中所有选定的存储日志 来自多个资源的贡献会被合并并去重。
删除资源 该资源的贡献 其他资源的筛选器、共享字段和托管默认值保持不变。

不同的字段值越多,可以生成的记录就越多。 从调查所需的字段开始,查看摄取量,并在完成时删除临时添加内容。 与其他从同一群集收集日志的团队协调更改。

使用 配置容器网络日志 获取完整的 YAML 示例和验证步骤。

按需日志

按需日志允许实时检查流日志,而无需定义存储日志资源或设置永久性存储。 启用 ACNS 并首先连接 Hubble 客户端。 在故障排除期间需要即时可见性时使用此模式。

ACNS 提供两种按需捕获工具。 若要设置任一工具,请参阅 “配置按需日志”模式。

Hubble CLI

通过 Hubble CLI,可以直接从终端查询、筛选和分析流日志。 当你需要细粒度筛选器(例如,在进行中的调试会话期间按命名空间、Pod 标签或决策隔离流量)时,它特别有用。

Hubble CLI 的屏幕截图。

Hubble 用户界面

Hubble UI 提供服务到服务通信的图形视图。 如果想要直观跟踪流量路径、识别哪些服务正在通信,并在不编写 CLI 命令的情况下发现异常,则非常适合此情况。

Hubble UI 的屏幕截图。

按需日志的主要优势

  • 无需已存储日志配置。 将 Hubble 连接到已启用 ACNS 的群集后,无需定义 ContainerNetworkLog 资源即可检查可用流。
  • 实时可见性。 检查实时流量,并在出现问题时查看数据包元数据。
  • 快速故障排除。 通过 Hubble CLI 以交互方式筛选流,或在 Hubble UI 中直观地查看服务映射。
  • 不需要持久性存储。 检查实时流,而无需设置历史日志存储。 ACNS 服务费用仍适用。

有关存储日志的建议

  1. 从一个工作负载和一个明确的问题开始。 选择调查所需的应用程序和流量。 验证新记录、查看数量,然后根据需要扩大采集范围。 避免仅为了测试日志记录是否正常工作而启用广泛收集。

  2. 根据运营需求定制聚合。 选择有助于回答问题的其他分组字段,并评估其数量和成本影响。 与其他团队协调群集范围的更改,并在调查结束时删除临时添加。 将 DNS 名称和 URL 视为潜在的敏感操作数据。

  3. 首先使用预生成的仪表板。 内置Azure门户仪表板涵盖常见用例,例如服务通信模式、错误率和 DNS 故障。 从那里开始。 仅在需要获取预生成仪表板未提供的可见性时,才添加自定义面板或 Log Analytics 查询。

  4. 定期查看。 随着工作负荷和流量模式的变化,筛选器可能需要更新。 定期检查数据量和流覆盖率,确保仍以合理的成本捕获正确的流量。

局限性

数据平面和功能要求:

  • 存储日志模式仅适用于 Cilium 数据平面。
  • 仅当启用第 7 层策略支持时,才会捕获第 7 层流日志。 有关详细信息,请参阅 配置第 7 层策略。
  • 仅当应用 Cilium 完全限定域名(FQDN)网络策略时,才会捕获 DNS 流和指标。 有关详细信息,请参阅 配置 FQDN 策略。

聚合权衡:

  • 其他字段可以保留源 IP 地址和目标 IP 地址、HTTP URL 或 DNS 查询名称等区别。 原始流必须包含数据。
  • 字段适用于群集中所选存储的日志,并且可以增加记录计数和数据摄取成本。
  • 更改会影响新收集的数据。 不会从历史日志中恢复详细信息、更改表架构,或为聚合记录中的每个事件提供时间戳。 使用按需日志进行实时每流检查。

存储和平台:

  • 每个节点的 /var/log/acns/hubble/ 主机本地文件上限为 50 MB,并自动轮换。 如果需要长期保留,请启用Azure Monitor(建议)或将文件转发到自己的日志记录服务。
  • 不支持辅助日志表计划。

Pricing

Important

高级容器网络服务是一项付费服务。

有关定价的详细信息,请参阅高级容器网络服务 - 定价。