设置容器网络日志

使用高级容器网络服务(ACNS)中的容器网络日志调查工作负荷通信、丢弃的流量和 Azure Kubernetes 服务 (AKS) 中的 DNS 故障。 本指南介绍如何配置集合并验证是否可以查看工作负荷的日志。

选择与调查匹配的模式:

  • 存储的日志: 在每个节点上的轮换文件中持续收集流。 当您需要保留这些日志并为历史调查查询它们时,请将日志转发到 Azure Monitor 或您自己的日志记录后端。
  • 按需日志: 使用 Hubble CLI 或 UI 实时检查流。 此模式不需要存储日志收集或Azure Monitor。

有关可用流数据和聚合行为的详细信息,请参阅 容器网络日志概述。

先决条件

  • 拥有有效订阅的 Azure 帐户。 如果没有订阅,请在开始之前创建一个试用帐户。

  • 在本地 Bash 终端中运行 Bash,使用 Azure CLI 和 kubectl。 对于本地安装,请使用 az login 登录,并使用 az account set --subscription "<subscription-id>" 选择你的订阅。

  • Azure CLI 2.85.0 或更高版本。 运行 az --version 以检查。 若要安装或升级,请参阅安装 Azure CLI。

  • 如果未安装 aks-preview 扩展,请安装它。 如果已安装,请更新它。 本指南需要版本 22.0.0b15 或更高版本:

    # Install the aks-preview extension
    az extension add --name aks-preview
    
    # Update the extension to make sure you have the latest version installed
    az extension update --name aks-preview
    
  • 存储的日志模式需要 Cilium 数据平面以及创建和更新群集范围的 ContainerNetworkLog 资源的权限。

  • 按需日志模式适用于 Cilium 和非 Cilium 数据平面。

  • 群集必须运行 Kubernetes 版本 1.36 或更高版本。

可选:DNS 和第 7 层可见性

基本网络流收集不需要 DNS 或 HTTP 检查。 仅当调查需要特定于协议的详细信息时,才配置以下内容。

  • HTTP:启用第 7 层策略支持,并使用包含要检查的流量的 HTTP 规则应用策略。 若要了解详细信息,请参阅 Layer 7 策略指南,请参阅 配置 Layer 7 策略。
  • 仅当应用 Cilium FQDN 网络策略时,才会捕获 DNS 流和指标。 有关详细信息,请参阅 配置 FQDN 策略。

集合筛选器选择要记录的流;它们不启用协议检查。 网络策略可能会影响应用程序连接,因此请应用适合您的工作负载的策略。

配置日志存储模式

存储日志模式持续收集群集节点上的所选网络流。 开始采集:

  1. 使用 Cilium 数据平面在受支持的群集上启用 ACNS。
  2. ContainerNetworkLog应用自定义资源以选择要捕获的流量。

配置生效后,ACNS 会将匹配的流观察写入观察该流量的节点上的 /var/log/acns/hubble/events.log。 默认情况下,流日志聚合每 30 秒将具有匹配分组字段值的观察结果合并为汇总记录。

选择如何访问日志:

  • Azure Monitor:配置监视附加产品,并启用容器网络日志转发,以将日志发送到 Log Analytics 工作区,用于保留、KQL 查询和仪表板。
  • 你自己的日志记录后端: 将收集器配置为将节点本地文件转发到现有后端。
  • 节点本地文件: 直接检查文件进行短期调查。 文件会轮换,因此此选项不提供长期保留。

以下步骤介绍新的和现有的群集。 从默认聚合设置开始,验证采集是否正常,然后在调查需要更多详细信息时自定义分组字段。

已存储的日志如何端到端传输

AKS 节点上存储的网络日志收集图,以及可选的转发到Azure Monitor或客户管理的后端。

部署选项

无论部署方法如何,都启用 ACNS 并应用 ContainerNetworkLog 资源。 以下Azure CLI演练介绍了完整的设置。 ARM 和Bicep指南涵盖了可选的Azure Monitor集成。

按照下面的端到端设置启用 ACNS、选择要收集的流量,并根据需要配置转发到Azure Monitor。 根据需要选择“新群集”或“现有群集”说明。

端到端设置

按顺序执行这些步骤。 需要步骤 1 和 2。 步骤 3 是可选的,仅当需要将日志转发到Azure Monitor时才需要。

Step 你做的事情 Required?
1 确保您的群集(新建或现有)已启用 ACNS Yes
2 创建资源 ContainerNetworkLog 以选择流量 Yes
3 将日志转发到 Azure Monitor 以进行持久存储 Optional

设置环境变量一次,并在整个过程中重复使用它们:

# Replace placeholders with your own values
export CLUSTER_NAME="<aks-cluster-name>"
export RESOURCE_GROUP="<aks-resource-group>"
export LOCATION="<location>"

步骤 1:确保群集上启用了 ACNS

使用与情况匹配的选项。

选项 A:使用 ACNS 创建新群集

# Create the resource group if it doesn't already exist
az group create --name $RESOURCE_GROUP --location $LOCATION

# Create an AKS cluster with ACNS
az aks create \
  --resource-group $RESOURCE_GROUP \
  --name $CLUSTER_NAME \
  --location $LOCATION \
  --pod-cidr 192.168.0.0/16 \
  --network-plugin azure \
  --network-plugin-mode overlay \
  --network-dataplane cilium \
  --generate-ssh-keys \
  --enable-acns

Tip

如果订阅中没有默认 VM 大小,请添加 --node-vm-size Standard_D4ads_v5。

如果已知道要将日志转发到Azure Monitor,则可以在一个命令中执行所有操作。 请参阅 Shortcut:从头开始创建具有Log Analytics的群集。

获取群集凭据,以便可以运行 kubectl 命令:

az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP

选项 B:使用现有群集

如果 Cilium 群集上尚未启用 ACNS,请启用它:

az aks update --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP --enable-acns

获取群集凭据并确认当前上下文是预期群集:

az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP
kubectl config current-context

步骤 2:创建 ContainerNetworkLog 资源以启动日志收集

在创建至少一个 ContainerNetworkLog 自定义资源之前,存储的日志模式不会收集任何内容。 此资源指定要按命名空间、Pod、标签、IP 地址、Cilium 安全身份、协议或判定结果捕获哪些流量。

自定义应用程序的 ContainerNetworkLog 模板 ,将其另存为 YAML 文件,并应用它:

kubectl apply -f "<your-log-configuration.yaml>"

使用唯一的资源名称以避免覆盖现有配置。 当配置到达代理时,它们会将匹配的流写入观察到该流量的节点上的 /var/log/acns/hubble/events.log。

Tip

有关实际示例,请参阅 AKS 实验室文档中的示例资源。

注释

主机节点上的日志是临时的。 文件在达到 50 MB 时自动切换,旧的记录会被覆盖。 对于永久性存储,请完成步骤 3。 还可以使用任何与 OpenTelemetry 兼容的收集器或日志记录服务(而不是Azure Monitor)将日志转发到 SIEM 或可观测性后端。

可以使用默认聚合设置,或使用附加字段自定义流日志聚合。

步骤 3 (可选):将日志转发到持久性存储Azure Monitor

如果您希望将日志转发到 Log Analytics 工作区以便进行长期保留、KQL 查询,以及使用内置 Azure 门户和 Grafana 仪表板,请完成此步骤。 如果计划直接使用主机本地日志,或者通过自己的 OpenTelemetry 收集器或日志记录服务转发它们,请跳过它。

3a. 启用Azure Monitor加载项(Log Analytics):

# Choose one option: default or existing Log Analytics workspace
# Default workspace
az aks enable-addons -a monitoring -g $RESOURCE_GROUP -n $CLUSTER_NAME

# To use an existing Log Analytics workspace
az aks enable-addons -a monitoring -g $RESOURCE_GROUP -n $CLUSTER_NAME --workspace-resource-id "<workspace-resource-id>"

3b. 启用容器网络日志标志:

az aks update --enable-acns \
  --enable-container-network-logs \
  -g $RESOURCE_GROUP \
  -n $CLUSTER_NAME

使用在启用监视加载项时所选的Log Analytics 工作区。 用于托管 Prometheus 指标的Azure Monitor工作区是不同的资源。

注释

在生成要验证的流量之前配置转发。 不要依赖于启用转发来回填历史主机本地日志。

快捷方式:从头开始创建具有Log Analytics的群集

如果要创建新群集并已知道要将日志发送到Log Analytics工作区,可以将步骤 1 和步骤 3 合并为单个创建命令:

az aks create \
  --resource-group $RESOURCE_GROUP \
  --name $CLUSTER_NAME \
  --location $LOCATION \
  --pod-cidr 192.168.0.0/16 \
  --network-plugin azure \
  --network-plugin-mode overlay \
  --network-dataplane cilium \
  --generate-ssh-keys \
  --enable-acns \
  --enable-addons monitoring \
  --enable-container-network-logs

若要使用现有 Log Analytics 工作区,请将 --workspace-resource-id "<log-analytics-workspace-resource-id>" 添加到 create 命令中。

仍需要完成步骤 2(创建 ContainerNetworkLog 资源)以定义要捕获的流量。 Log Analytics集成已到位,因此会自动收集匹配的流并将其发送到工作区。

ContainerNetworkLog CRD 模板

自定义 ContainerNetworkLog 资源定义要捕获的网络流,并允许使用其他分组字段自定义流日志聚合。 可以创建多个资源,每个资源都面向不同的流量。 以下模板显示了一个资源中的流量选择器和可选聚合。 替换示例值,并仅包含应用程序所需的选择器和附加字段。

apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
  name: sample-containernetworklog # Cluster scoped
spec:
  includefilters: # At least one filter is required
    - name: sample-filter
      from:
        namespacedPod: # Format: namespace/pod
          - sample-namespace/sample-pod
        labelSelector:
          matchExpressions:
            - key: environment
              operator: In
              values:
                - production
                - staging
        ip: # Single IP or CIDR
          - "192.168.1.10"
          - "10.0.0.1"
      to:
        namespacedPod:
          - sample-namespace2/sample-pod2
        labelSelector:
          matchLabels:
            app: backend
        ip:
          - "192.168.1.20"
          - "10.0.1.1"
      protocol: # tcp, udp, dns
        - tcp
        - udp
        - dns
      verdict: # forwarded, dropped
        - forwarded
        - dropped
  aggregation: # Optional; omit to use service-managed grouping fields
    additionalFields:
      - traffic_direction # Example; choose supported Flow fields for your needs

将模板另存为 YAML 文件,并在应用模板之前替换示例值。 在筛选器中,指定的终结点、协议和判决条件必须匹配。 模板每个终结点使用一个标签条件;命名空间限制来自 namespacedPod. 删除不需要的条件,而不是一起复制不相关的 Pod 名称、标签和 IP 地址。 各个筛选器条目之间为 OR 关系。 对于较小的配置,请使用 聚合自定义示例。

Important

一个 labelSelector 内部的多个条件可以匹配为替代项,而不是要求每个条件匹配。 为了避免收集比预期更多的流量,请使用每个终结点的一个 matchLabels 条目或一个 matchExpressions 条件。 将其与命名空间或 Pod、IP、协议或判定条件相结合,而不是添加更多标签条件。

可选 aggregation 块允许自定义流日志聚合。 traffic_direction 只是一个示例,而不是必需字段或唯一的选择。 您可以从 Cilium 的 Flow中选择任何来自 Hubble 消息且受群集上运行的 Cilium 版本支持的有效字段路径。

选择其他字段时:

  • 使用受支持的区分大小写的路径。 关联的 main 分支可以包含您的群集版本尚不支持的字段。
  • 原始流必须包含数据。 添加字段不会启用 DNS 或 HTTP 检查。 查询转发的日志时,请使用现有的Log Analytics表列和动态属性;添加字段不会创建新表列。
  • 更改将在整个群集范围内生效。 附加字段会影响所有选定的存储日志,包括其他资源选择的流量。 它们扩展服务默认值,而无需删除默认值或更改 30 秒聚合间隔。 更改会影响新记录,而不会影响历史日志。
  • 评估数据量和成本。 如果需要更精细的详细信息,可以使用高基数字段,但其许多不同值可能会增加日志量以及摄取和存储成本。 还查看敏感数据的影响。

省略 aggregation 使用服务默认值,而无需从此资源请求其他字段。 有关示例,请参阅 自定义流日志聚合 。

CRD 字段参考

领域 类型 说明 必需
spec.includefilters []过滤器 用于定义要捕获的网络流的筛选器。 必须至少包含一个筛选器。 Yes
includefilters[].name String 日志筛选器的名称。 Yes
includefilters[].protocol []字符串 要匹配的协议:tcp、、udpdns。 如果省略,则不会添加协议限制。 No
includefilters[].verdict []字符串 流裁定以匹配:forwarded、dropped。 如果省略,则不会添加任何判决限制。 No
includefilters[].from 终结点 流的源。 可以包括 IP、标签、命名空间/Pod 选择器和数字标识。 No
includefilters[].to 终结点 网络流的目标。 与from相同的选项。 No
Endpoint.ip []字符串 单个 IP 地址或 CIDR 范围。 No
Endpoint.labelSelector Object 基于标签的端点选择。 每个终结点使用一个 matchLabels 条目或一个 matchExpressions 条件;请参阅上述多条件限制。 No
Endpoint.namespacedPod []字符串 采用 namespace/pod 格式的确切命名空间和 Pod 名称前缀。 对该命名空间中的所有 Pod 使用 namespace/。 No
Endpoint.identities []integer 从 0 到 16777215 的 Cilium 数字安全标识 这些值是可选项。 No
spec.aggregation.additionalFields []字符串 附加的区分大小写的流字段路径,用于自定义群集范围的聚合分组。 需要包含筛选器;不会替换服务默认值。 No

省略协议或裁定条件不会启用缺少的协议可见性。 每个筛选器必须包含流量选择条件,而不仅仅是一个名称。

捕获第 7 层和 DNS 流

除了日志收集之外,第 7 层和 DNS 字段还需要可见性配置。 资源 ContainerNetworkLog 选择要记录的流量;它不会启用检查或更改网络策略。

网络策略可能会影响对应用程序的访问。 应用适用于工作负荷的策略,然后使用以下示例根据所需详细信息自定义聚合。

验证设置

这些步骤适用于新的和现有的群集设置。

获取群集凭据

az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP

确认已启用容器网络日志

az aks show -g $RESOURCE_GROUP -n $CLUSTER_NAME

检查是否 networkProfile.advancedNetworking.enabled 和 networkProfile.advancedNetworking.observability.enabled 是否 true。 如果使用Azure Monitor,还请检查监视加载项配置。 使用下面的查询确认实际摄取。

检查自定义资源状态

列出群集中的所有 ContainerNetworkLog 资源:

kubectl get containernetworklog

它将提供您刚刚创建的 containernetworklog 资源的名称。 使用以下命令中的该名称检查其状态:

检查特定资源的状态:

kubectl describe containernetworklog "<cr-name>"

字段 Status>State 应显示 CONFIGURED。 如果显示 FAILED,请阅读 status.reason 并更正配置。 在配置其他分组字段时,查看 status.warnings。 在生成流量之前,请等待配置传播完成;仅凭此状态并不能验证数据摄取已完成。

Spec:
  Includefilters:
    From:
      Namespaced Pod:
        namespace/pod-
    Name:  sample-filter
    Protocol:
      tcp
    To:
      Namespaced Pod:
        namespace/pod-
    Verdict:
      dropped
Status:
  State:      CONFIGURED
  Timestamp:  2025-05-01T11:24:48Z

可以应用多个 ContainerNetworkLog 自定义资源。 每个都有其自己的状态。

生成测试流量

从筛选器选择的正在运行的应用程序 Pod 中,向预计可以访问的 HTTP 或 HTTPS 终结点发出请求。 替换以下命令中的值。 Pod 必须具有 curl;对于多个容器,请将 -c <container-name> 添加到 kubectl exec。

NAMESPACE="<application-namespace>"
CLIENT_POD="<running-pod-with-curl>"
TEST_URL="https://<approved-host>/"
date -u '+Test start (UTC): %Y-%m-%dT%H:%M:%SZ'
kubectl exec -n "$NAMESPACE" "$CLIENT_POD" -- \
  curl --fail --show-error --silent --output /dev/null \
    --write-out 'HTTP %{http_code}\n' \
    --connect-timeout 10 --max-time 20 "$TEST_URL"

使用应用程序可以访问的 URL。 成功的响应确认请求已成功执行。 接下来,检查其网络日志是否显示在日志记录后端中。

在 Log Analytics 中查询日志

在打开仪表板之前,确认测试流量已到达 ContainerNetworkLogs 表。 获取群集资源 ID:

az aks show -g "$RESOURCE_GROUP" -n "$CLUSTER_NAME" --query id -o tsv

在接收Log Analytics工作区中打开日志。 将以下查询中的群集 ID 和命名空间替换为您的值:

ContainerNetworkLogs
| where TimeGenerated > ago(15m)
| where _ResourceId =~ "<AKS-resource-ID>"
| where SourceNamespace == "<namespace>"
| project TimeGenerated, SourceNamespace, SourceWorkloads,
          DestinationNamespace, DestinationWorkloads, Verdict, Layer4
| order by TimeGenerated desc

允许聚合和摄取延迟,然后使用源工作负荷和目标端口在测试开始时间后查找记录。 如果测试时间较早,则放宽 ago(15m)。 计数表示聚合的观察值,而不是唯一的请求。 命名空间和工作负载元数据默认会被保留;而 pod 名称不会保留。

如果使用自己的日志收集器而不是 Azure Monitor,请确认它将来自 /var/log/acns/hubble/events.log 的新记录转发到日志后端。

有关更多示例查询,请参阅 使用流日志进行渐进式诊断。

使用 Grafana 仪表板进行可视化

无需创建Azure 托管 Grafana实例,即可通过 Azure 门户访问预生成的 Grafana 仪表板。 门户仪表板体验是免费的;ACNS 和日志摄取及保留费用仍适用。 在开始之前,请确保Azure Monitor日志 Pod 正在运行:

kubectl get pods -o wide -n kube-system | grep ama-logs

预期输出:

ama-logs-9bxc6                                   3/3     Running   1 (39m ago)   44m
ama-logs-fd568                                   3/3     Running   1 (40m ago)   44m
ama-logs-rs-65bdd98f75-hqnd2                     2/2     Running   1 (43m ago)   22h

可选:授予单独的 Grafana 实例访问权限

使用内置Azure门户仪表板时跳过本部分。 如果使用单独的托管 Grafana 工作区,请让管理员在监视设置所需的范围内授予对日志数据的访问权限。 以下步骤显示了订阅范围的 Monitoring Reader 分配。

如果您是订阅所有者或用户访问管理员,那么托管的 Grafana 工作区在创建时会自动分配该角色。

如果上述情况不符合(或者 Log Analytics 和 Grafana 工作区位于不同的订阅账户中),请手动授予角色:

  1. 在托管 Grafana 工作区中,转到 “设置>身份”。

    托管 Grafana 实例中身份选项的屏幕截图。

  2. 选择Azure角色分配>添加角色分配。

    选择 Azure 角色分配的 Grafana 实例截图。

  3. 将 范围 设置为 订阅,选择订阅,将 角色 设置为 “监视读取者”,然后选择“ 保存”。

    在托管 Grafana 实例中输入订阅详细信息的屏幕截图。

  4. 在托管 Grafana 实例的 “数据源 ”选项卡中验证数据源:

    在托管 Grafana 实例中检查数据源的屏幕截图。

访问仪表板

若要从Azure门户打开仪表板,请执行以下操作:

  1. 在 Azure 门户中,转到 AKS 群集。
  2. 在监控下,选择使用 Grafana 的仪表板。
  3. 浏览Azure Monitor下的网络流日志仪表板。

在 Azure Monitor>Insights>Containers>Networking 下查找仪表板。 有两个选项,具体取决于为 Log Analytics 中的 ContainerNetworkLogs 表选择的层:

Dashboard 路径 表格层级 Grafana ID
流日志 - 基本层 Azure>监控>容器>网络>流日志 - 基本层 基本 23155
流日志 - 分析层 Azure>见解>容器>网络>流量日志 - 分析层级 分析(默认) 23156

这两个仪表板都显示工作负载通信以及被转发或丢弃的观测数据。 可用详细信息取决于协议可见性和聚合字段。 Grafana ID 用于单独的 Grafana 部署;你不需要这些 ID 即可使用门户仪表板。 使用与您为 ContainerNetworkLogs 表配置的等级相匹配的项。

Grafana 仪表板在 Azure Monitor 中的截图。

有关仪表板组件的详细信息,请参阅 容器网络日志概述。

Tip

表 ContainerNetworkLogs 默认为 Analytics 层。 若要降低引入和保留成本,可以切换到 基本 层并使用相应的仪表板。 有关详细信息,请参阅日志分析表格计划。

自定义流日志聚合

该服务在 30 秒间隔内使用 其默认分组字段 聚合流日志。 通过 spec.aggregation.additionalFields 添加支持的字段,以自定义日志为操作和调查需求保留的区分维度。

附加分组字段扩展默认值;它们不会更改间隔。 它们适用于 群集中所有选定的已存储的日志,包括其他资源选择的流量。 使用群集与其他团队协调更改。 更改会影响新记录,而不会影响历史日志。

以下示例演示目标 IP 地址和 DNS 查询名称如何帮助回答特定的调查问题。 它们不是受支持字段的详尽列表。 在查询结果之前完成存储日志设置和转发。 如果示例名称已在使用中,请使用新的资源名称。

Important

目标 IP 地址和 DNS 查询名称是 高基数字段:它们可以具有许多不同的值。 在需要这些详细信息时,可以启用它们;但在启用之前,应先评估整个集群范围内日志量可能增加,以及日志采集和存储成本可能上升的影响。 监视使用情况,查看敏感数据的影响,并在调查结束时删除临时添加。

聚合字段示例 1:标识目标 IP 地址

问题:我的工作负荷与哪些目标 IP 地址进行过通信?

默认聚合会保留工作负载元数据和目标端口,但不保留各个目标 IP 地址。 添加 IP.destination 以区分否则会共享相同默认分组值的地址,例如同一工作负荷中的后端副本。 此字段可帮助你确定连接调查中涉及的目标。 该字段记录在观察点看到的地址;它不是地址翻译的完整记录。

将以下配置另存为 destination-ip-logs.yaml,并将 production/ 替换为你的应用程序的命名空间:

apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
  name: destination-ip-logs
spec:
  includefilters:
    - name: namespace-tcp
      from:
        namespacedPod: ["production/"]
      protocol: ["tcp"]
  aggregation:
    additionalFields:
      - IP.destination

验证并应用资源,然后检查 status.state: CONFIGURED:

kubectl apply --dry-run=server -f destination-ip-logs.yaml
kubectl apply -f destination-ip-logs.yaml
kubectl get containernetworklog destination-ip-logs -o yaml

根据 “生成测试流量”中所述生成新的 TCP 流量。 替换此查询中的群集 ID 和命名空间:

let ClusterResourceId = "<AKS-resource-ID>";
ContainerNetworkLogs
| where TimeGenerated > ago(30m)
| where _ResourceId =~ ClusterResourceId
| where SourceNamespace == "production"
| where isnotempty(Layer4.TCP)
| project TimeGenerated, SourceNamespace, SourceWorkloads,
          DestinationNamespace, DestinationWorkloads,
          DestinationIP = tostring(IP.destination),
          DestinationPort = toint(Layer4.TCP.destination_port),
          Verdict,
          IngressFlowCount, EgressFlowCount
| order by TimeGenerated desc

查找所选的工作负荷和目标端口,然后检查 DestinationIP。 当流量到达同一工作负荷中的不同后端地址时,查询会单独显示这些地址。 比较地址和判定结果以缩小调查范围;仅转发的判定结果并不能证明应用程序成功。 IP.destination 是一种高基数新增项,因此请查看前面所述的数据量和成本影响。

聚合字段示例 2:识别与失败关联的 DNS 名称

问题: 哪个 DNS 名称为我的应用程序返回了 NXDOMAIN?

默认聚合保留 DNS 响应代码,但不会保留请求的名称。 添加 l7.dns.query 以标识与响应关联的名称,并使用 l7.type 明确选择响应。 这有助于查找拼写错误的服务名称或对不再存在的服务的引用。 l7.dns.query 是高基数;l7.type 具有一小组值。 DNS 响应代码 (l7.dns.rcode) 已是默认分组字段,无需添加。 首先,使用 为正在运行的客户端 Pod 配置 DNS 可见性。

保存为 dns-investigation.yaml. 将两个筛选器中的 pets/dns-client 替换为客户端命名空间和 Pod 名称前缀:

apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
  name: dns-investigation
spec:
  includefilters:
    - name: dns-from-client
      from:
        namespacedPod: ["pets/dns-client"]
      protocol: ["dns"]
    - name: dns-to-client
      to:
        namespacedPod: ["pets/dns-client"]
      protocol: ["dns"]
  aggregation:
    additionalFields:
      - l7.dns.query
      - l7.type

这两个筛选器选择来自客户端或发往客户端的 DNS 流量。 应用资源并检查 status.state: CONFIGURED:

kubectl apply --dry-run=server -f dns-investigation.yaml
kubectl apply -f dns-investigation.yaml
kubectl get containernetworklog dns-investigation -o yaml

使用客户端生成查找,并对预期可解析的名称进行查找。 对于服务测试,带有尾随点的完全限定名称可避免 DNS 搜索后缀重试:

DNS_NAMESPACE="pets"
DNS_CLIENT_POD="<your-client-pod>"
DNS_NAME="<name-to-resolve>"
date -u '+DNS test start (UTC): %Y-%m-%dT%H:%M:%SZ'
kubectl exec -n "$DNS_NAMESPACE" "$DNS_CLIENT_POD" -- nslookup "$DNS_NAME"

对于具有多个容器的 Pod,请将 -c <container-name> 添加到 kubectl exec。 若要调查已报告的故障,请使用受影响的名称重复查找。 聚合和引入后,在Log Analytics中查询新响应。 替换群集 ID 和客户端命名空间:

ContainerNetworkLogs
| where TimeGenerated > ago(30m)
| where _ResourceId =~ "<AKS-resource-ID>"
| where DestinationNamespace == "<client-namespace>"
| where tostring(Layer7.type) == "RESPONSE"
| where isnotempty(Layer7.dns)
| project TimeGenerated, DestinationNamespace, DestinationWorkloads,
          RequestedName = tostring(Layer7.dns.query),
          DnsMessageType = tostring(Layer7.type),
          DnsResponseCode = toint(Layer7.dns.rcode),
          IngressFlowCount, EgressFlowCount
| order by TimeGenerated desc

l7.dns.query 可通过 Layer7.dns.query 查询,l7.type 可通过 Layer7.type 查询。 查找你在其中 RequestedName 测试的名称并检查其响应代码。 客户端是 DNS 响应的目标。 代码 3 表示该名称的 NXDOMAIN。 成功的响应可以省略代码 0(NOERROR),因此请通过 nslookup 返回的地址确认是否成功。 仅空白代码就不是成功证明。

此示例保留请求的名称和响应结果,但不保留返回的 IP 地址。 记录仍是聚合的,而不是每次查找的完整事件历史记录或唯一请求的计数。 DNS 名称可以暴露内部服务详细信息;查看数据访问和保留以及摄取量。

选择其他字段

选择群集的 Hubble Flow 架构支持的任何其他字段,根据需求定制聚合。 工作负载元数据、目标端口和 DNS/HTTP 响应代码已包含在默认值中。

IP 地址、Pod 名称、源端口、DNS 名称和 HTTP URL 可以提供更详细的详细信息。 由于这些字段可以具有许多不同的值,因此在启用日志之前,请评估对群集范围的日志量、引入和存储成本以及敏感数据的影响。 监视使用情况,在可见性与预算之间取得平衡。

字段路径区分大小写,且必须受群集上的 Cilium 版本支持;请参阅 Hubble Flow 定义。 原始流必须包含数据。 保留的值将写入节点本地日志,并在转发后,可使用 ContainerNetworkLogs 表中的现有列和动态属性进行查询。 添加字段不会创建新表列。

按 Cilium 安全标识筛选日志

使用 from.identities 或 to.identities 按 Cilium 的数字端点分类选择流量。 例如,收集从某个命名空间发往被归类为 world 的目标的 TCP 流量。 此筛选器使用默认聚合字段。

将此配置另存为 world-egress-logs.yaml,用您的命名空间替换 production/:

apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
  name: production-world-egress
spec:
  includefilters:
    - name: production-to-world
      from:
        namespacedPod: ["production/"]
      to:
        identities: [2, 9, 10]
      protocol: ["tcp"]
kubectl apply --dry-run=server -f world-egress-logs.yaml
kubectl apply -f world-egress-logs.yaml
kubectl get containernetworklog production-world-egress -o yaml

资源报告 CONFIGURED 后,向已批准的外部目标发送流量。 检查所选工作负荷的新 Log Analytics 记录,以及配置列表中的 DestinationIdentity 值。 其他资源可以继续收集其他流量。

Value Cilium 身份
2 世界
9 全球 IPv4
10 世界 IPv6

这些值是替代项;2 不会同时选择 9 和 10。 API 接受从 0 到 16777215 的整数,而不是别名,例如 world。 这些值不是 Azure 托管标识。 分配了另一个标识(例如 CIDR 标识)的终结点与此列表不匹配。

删除临时自定义

若要在保留流量筛选器时停止请求其他字段,请从已保存的清单中删除该 aggregation 部分并重新应用它。 其他资源仍可以请求这些字段;服务默认值保持不变。

若要删除临时集合资源,请仅删除您创建的那个集合资源:

kubectl delete containernetworklog "<your-investigation-resource-name>"

不会删除历史日志。

配置按需日志模式

按需日志允许实时捕获流数据,而无需持久存储。 此模式适用于 Cilium 和非 Cilium 数据平面。

群集需要启用 高级容器网络服务 。 如果尚未启用 ACNS 群集,请创建一个:

export CLUSTER_NAME="<aks-cluster-name>"
export RESOURCE_GROUP="<aks-resource-group>"

az aks create \
    --name $CLUSTER_NAME \
    --resource-group $RESOURCE_GROUP \
    --generate-ssh-keys \
    --location eastus \
    --max-pods 250 \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --network-dataplane cilium \
    --node-count 2 \
    --pod-cidr 192.168.0.0/16 \
    --kubernetes-version 1.36 \
    --enable-acns

在现有群集上启用 ACNS

在已配置的群集上启用 ACNS,请执行以下步骤:

az aks update \
    --resource-group $RESOURCE_GROUP \
    --name $CLUSTER_NAME \
    --enable-acns

注释

容器网络安全功能需要 Cilium 数据平面。

获取群集凭据:

az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP

安装 Hubble CLI

在 Linux Bash 终端中运行这些命令。

export HUBBLE_VERSION=v1.16.3
export HUBBLE_ARCH=amd64

if [ "$(uname -m)" = "aarch64" ]; then HUBBLE_ARCH=arm64; fi
curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/$HUBBLE_VERSION/hubble-linux-${HUBBLE_ARCH}.tar.gz{,.sha256sum}
sha256sum --check hubble-linux-${HUBBLE_ARCH}.tar.gz.sha256sum
sudo tar xzvfC hubble-linux-${HUBBLE_ARCH}.tar.gz /usr/local/bin
rm hubble-linux-${HUBBLE_ARCH}.tar.gz{,.sha256sum}

使用 Hubble CLI

  1. 确认 Hubble Relay Pod 正在运行:

    kubectl get pods -o wide -n kube-system -l k8s-app=hubble-relay
    

    预期输出:

    hubble-relay-7ddd887cdb-h6khj     1/1  Running     0       23h
    

    在继续操作之前,请确认客户端证书机密可用:

    kubectl get secret hubble-relay-client-certs -n kube-system
    

    在配置客户端之前解决缺少的资源或访问错误。

  2. 在专用终端中为 Hubble Relay 设置端口转发:

    kubectl port-forward -n kube-system svc/hubble-relay --address 127.0.0.1 4245:443
    

    使用 Hubble 时将其保持运行状态。 在第二个终端中执行以下命令,并在完成后使用 Ctrl+C 停止端口转发。

  3. 在第二个终端中为 Hubble 客户端配置 mTLS 证书:

    #!/usr/bin/env bash
    set -euo pipefail
    CERT_DIR="$(pwd)/.certs"
    umask 077
    mkdir -p "$CERT_DIR"
    
    declare -A CERT_FILES=(
      ["tls.crt"]="tls-client-cert-file"
      ["tls.key"]="tls-client-key-file"
      ["ca.crt"]="tls-ca-cert-files"
    )
    
    for FILE in "${!CERT_FILES[@]}"; do
      KEY="${CERT_FILES[$FILE]}"
      JSONPATH="{.data['${FILE//./\\.}']}"
    
      kubectl get secret hubble-relay-client-certs -n kube-system \
        -o jsonpath="${JSONPATH}" | \
        base64 -d > "$CERT_DIR/$FILE"
    
      hubble config set "$KEY" "$CERT_DIR/$FILE"
    done
    
    hubble config set tls true
    hubble config set tls-server-name instance.hubble-relay.cilium.io
    hubble config set server localhost:4245
    
  4. 观察涉及要调查的 Pod 的流。 替换这些值:

    hubble observe --pod "<namespace>/<pod-name>"
    

    查找涉及所选 Pod 的流。 如果没有显示,请检查 Pod 名称,以及它是否正在生成流量。 仅凭空结果并不能说明存在连接问题。

设置 Hubble UI

如果 Hubble UI 部署已存在,请与其所有者协调,而不是覆盖它。

  1. 将以下清单另存为 hubble-ui.yaml:

    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: hubble-ui
      namespace: kube-system
    ---
    kind: ClusterRole
    apiVersion: rbac.authorization.k8s.io/v1
    metadata:
      name: hubble-ui
      labels:
        app.kubernetes.io/part-of: retina
    rules:
      - apiGroups:
          - networking.k8s.io
        resources:
          - networkpolicies
        verbs:
          - get
          - list
          - watch
      - apiGroups:
          - ""
        resources:
          - componentstatuses
          - endpoints
          - namespaces
          - nodes
          - pods
          - services
        verbs:
          - get
          - list
          - watch
      - apiGroups:
          - apiextensions.k8s.io
        resources:
          - customresourcedefinitions
        verbs:
          - get
          - list
          - watch
      - apiGroups:
          - cilium.io
        resources:
          - "*"
        verbs:
          - get
          - list
          - watch
    ---
    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      name: hubble-ui
      labels:
        app.kubernetes.io/part-of: retina
    roleRef:
      apiGroup: rbac.authorization.k8s.io
      kind: ClusterRole
      name: hubble-ui
    subjects:
      - kind: ServiceAccount
        name: hubble-ui
        namespace: kube-system
    ---
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: hubble-ui-nginx
      namespace: kube-system
    data:
      nginx.conf: |
        server {
            listen       8081;
            server_name  localhost;
            root /app;
            index index.html;
            client_max_body_size 1G;
            location / {
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                # CORS
                add_header Access-Control-Allow-Methods "GET, POST, PUT, HEAD, DELETE, OPTIONS";
                add_header Access-Control-Allow-Origin *;
                add_header Access-Control-Max-Age 1728000;
                add_header Access-Control-Expose-Headers content-length,grpc-status,grpc-message;
                add_header Access-Control-Allow-Headers range,keep-alive,user-agent,cache-control,content-type,content-transfer-encoding,x-accept-content-transfer-encoding,x-accept-response-streaming,x-user-agent,x-grpc-web,grpc-timeout;
                if ($request_method = OPTIONS) {
                    return 204;
                }
                # /CORS
                location /api {
                    proxy_http_version 1.1;
                    proxy_pass_request_headers on;
                    proxy_hide_header Access-Control-Allow-Origin;
                    proxy_pass http://127.0.0.1:8090;
                }
                location / {
                    try_files $uri $uri/ /index.html /index.html;
                }
                # Liveness probe
                location /healthz {
                    access_log off;
                    add_header Content-Type text/plain;
                    return 200 'ok';
                }
            }
        }
    ---
    kind: Deployment
    apiVersion: apps/v1
    metadata:
      name: hubble-ui
      namespace: kube-system
      labels:
        k8s-app: hubble-ui
        app.kubernetes.io/name: hubble-ui
        app.kubernetes.io/part-of: retina
    spec:
      replicas: 1
      selector:
        matchLabels:
          k8s-app: hubble-ui
      template:
        metadata:
          labels:
            k8s-app: hubble-ui
            app.kubernetes.io/name: hubble-ui
            app.kubernetes.io/part-of: retina
        spec:
          serviceAccountName: hubble-ui
          automountServiceAccountToken: true
          containers:
          - name: frontend
            image: mcr.azk8s.cn/oss/cilium/hubble-ui:v0.12.2
            imagePullPolicy: Always
            ports:
            - name: http
              containerPort: 8081
            livenessProbe:
              httpGet:
                path: /healthz
                port: 8081
            readinessProbe:
              httpGet:
                path: /
                port: 8081
            resources: {}
            volumeMounts:
            - name: hubble-ui-nginx-conf
              mountPath: /etc/nginx/conf.d/default.conf
              subPath: nginx.conf
            - name: tmp-dir
              mountPath: /tmp
            terminationMessagePolicy: FallbackToLogsOnError
            securityContext: {}
          - name: backend
            image: mcr.azk8s.cn/oss/cilium/hubble-ui-backend:v0.12.2
            imagePullPolicy: Always
            env:
            - name: EVENTS_SERVER_PORT
              value: "8090"
            - name: FLOWS_API_ADDR
              value: "hubble-relay:443"
            - name: TLS_TO_RELAY_ENABLED
              value: "true"
            - name: TLS_RELAY_SERVER_NAME
              value: ui.hubble-relay.cilium.io
            - name: TLS_RELAY_CA_CERT_FILES
              value: /var/lib/hubble-ui/certs/hubble-relay-ca.crt
            - name: TLS_RELAY_CLIENT_CERT_FILE
              value: /var/lib/hubble-ui/certs/client.crt
            - name: TLS_RELAY_CLIENT_KEY_FILE
              value: /var/lib/hubble-ui/certs/client.key
            livenessProbe:
              httpGet:
                path: /healthz
                port: 8090
            readinessProbe:
              httpGet:
                path: /healthz
                port: 8090
            ports:
            - name: grpc
              containerPort: 8090
            resources: {}
            volumeMounts:
            - name: hubble-ui-client-certs
              mountPath: /var/lib/hubble-ui/certs
              readOnly: true
            terminationMessagePolicy: FallbackToLogsOnError
            securityContext: {}
          nodeSelector:
            kubernetes.io/os: linux
          volumes:
          - configMap:
              defaultMode: 420
              name: hubble-ui-nginx
            name: hubble-ui-nginx-conf
          - emptyDir: {}
            name: tmp-dir
          - name: hubble-ui-client-certs
            projected:
              defaultMode: 0400
              sources:
              - secret:
                  name: hubble-relay-client-certs
                  items:
                    - key: tls.crt
                      path: client.crt
                    - key: tls.key
                      path: client.key
                    - key: ca.crt
                      path: hubble-relay-ca.crt
    ---
    kind: Service
    apiVersion: v1
    metadata:
      name: hubble-ui
      namespace: kube-system
      labels:
        k8s-app: hubble-ui
        app.kubernetes.io/name: hubble-ui
        app.kubernetes.io/part-of: retina
    spec:
      type: ClusterIP
      selector:
        k8s-app: hubble-ui
      ports:
        - name: http
          port: 80
          targetPort: 8081
    
  2. 应用清单并等待 UI 准备就绪:

    kubectl apply -f hubble-ui.yaml
    kubectl rollout status deployment/hubble-ui -n kube-system --timeout=120s
    
  3. 设置端口转发:

    kubectl -n kube-system port-forward --address 127.0.0.1 svc/hubble-ui 12000:80
    
  4. 在浏览器中打开 http://localhost:12000/ 以访问 Hubble UI。

    完成后,使用 Ctrl+C 停止端口转发。 如果只是为这项调查创建了该 UI,并且没有其他人需要它,请使用 kubectl delete -f hubble-ui.yaml 将其删除。

Troubleshooting

  • 未启用 ACNS。 在没有 ACNS 的情况下运行 --enable-container-network-logs 将生成:

    Flow logs requires '--enable-acns', advanced networking to be enabled.

  • Kubernetes 版本太旧。 在版本低于 1.36.0 的群集上运行 --enable-container-network-logs 将产生:

    The specified orchestrator version %s is not valid. Advanced Networking Flow Logs is only supported on Kubernetes version 1.36.0 or later.

  • CRD 无法识别。 在没有 ACNS 的群集上应用 ContainerNetworkLog 后,结果是:

    error: resource mapping not found for <....>": no matches for kind "ContainerNetworkLog" in version "acn.azure.com/v1alpha1"

    确保已在群集上启用 ACNS。

  • 附加字段或标识筛选器被拒绝。 使用 kubectl explain containernetworklog.spec.includefilters.to.identities 或 kubectl explain containernetworklog.spec.aggregation.additionalFields 检查已安装的 API。 对于报告 FAILED 的资源,请阅读 status.reason 并更正配置。

  • 会出现基数警告。 警告不会阻止收集。 查看其他分组字段并监视摄取量。

  • 资源已配置,但未显示任何记录。 留出时间等待配置传播生效、生成新的匹配流量,并检查查询时间范围、协议可见性和转发配置。

禁用存储日志模式

存储的日志有两个层: 节点上的日志生成,以及可选的转发到Azure Monitor。 可以单独关闭任一层。

停止生成日志

列出收集请求,然后仅删除其所有者批准停止收集的资源:

kubectl get containernetworklog
kubectl delete containernetworklog "<cr-name>"

其他收集请求可以保持日志记录活动状态,包括旧流日志资源(如果存在)。 与管理员协调群集范围的关闭。 历史记录保留在日志记录后端。

停止将日志转发到Azure Monitor

如果只想停止将日志发送到Log Analytics工作区,但在节点上继续生成日志,请禁用Azure Monitor集成:

az aks update -n $CLUSTER_NAME -g $RESOURCE_GROUP --disable-container-network-logs

现有 ContainerNetworkLog 资源仍然有效,因此流会继续到达每个节点 /var/log/acns/hubble/events.log ,直到删除这些资源。

清理资源

仅当为此练习创建了专用资源组并且不再需要其中的任何内容时,才删除该资源组。 此操作将删除该组中的所有资源:

az group delete --name $RESOURCE_GROUP

局限性

数据平面和 Kubernetes 版本

  • 存储的日志模式需要 Cilium 数据平面和 Kubernetes 1.36 或更高版本。
  • 按需日志(Hubble CLI 和 Hubble UI)适用于 Cilium 和非 Cilium 数据平面。

第 7 层和 DNS 可见性

  • 仅在群集 CiliumNetworkPolicy 上启用 L7 策略支持并且 L7 规则涵盖流量时,才会填充第 7 层流记录。 有关详细信息,请参阅 配置第 7 层策略。
  • 仅当 Cilium FQDN 策略(rules.dns 加上 toFQDNs)涵盖流量时,才会填充 DNS 记录。

主机本地存储

  • 如果没有Azure Monitor或外部收集器,流日志将存储在每个节点上/var/log/acns/hubble/events.log,上限为 50 MB。 达到上限后,旧的条目将被覆盖。
  • 流日志将写入主机节点,并由Azure Monitor代理收集。 如果在应用ContainerNetworkLog自定义资源后启用 Log Analytics 集成,则仅会采集从该时间点起的新日志。 不会收集主机上的历史日志。

Log Analytics

  • 启用容器网络日志后切换Log Analytics工作区可能会导致日志停止流向新工作区。 发生这种情况是因为现有的Azure Monitor数据收集配置不会自动更新。 若要防止此问题,请在首次启用容器网络日志时配置所需的工作区,或者在更改工作区时手动更新关联的数据收集规则。 请参阅 在容器洞察中配置数据收集。
  • 该 ContainerNetworkLogs 表支持 Analytics (默认)和 基本 层。 不支持 辅助 层。

聚合权衡

  • 使用 aggregation.additionalFields 自定义新收集的日志的分组方式及其保留的详细信息。 数据必须存在于原始流中。
  • 附加分组字段适用于整个集群,可增加引入成本。 它们不会更改聚合间隔、删除托管默认值或恢复历史详细信息。
  • 聚合记录不会为组中的每个事件提供时间戳。 使用按需日志进行实时每流检查。