使用高级容器网络服务(ACNS)中的容器网络日志调查工作负荷通信、丢弃的流量和 Azure Kubernetes 服务 (AKS) 中的 DNS 故障。 本指南介绍如何配置集合并验证是否可以查看工作负荷的日志。
选择与调查匹配的模式:
- 存储的日志: 在每个节点上的轮换文件中持续收集流。 当您需要保留这些日志并为历史调查查询它们时,请将日志转发到 Azure Monitor 或您自己的日志记录后端。
- 按需日志: 使用 Hubble CLI 或 UI 实时检查流。 此模式不需要存储日志收集或Azure Monitor。
有关可用流数据和聚合行为的详细信息,请参阅 容器网络日志概述。
先决条件
拥有有效订阅的 Azure 帐户。 如果没有订阅,请在开始之前创建一个试用帐户。
在本地 Bash 终端中运行 Bash,使用 Azure CLI 和
kubectl。 对于本地安装,请使用az login登录,并使用az account set --subscription "<subscription-id>"选择你的订阅。Azure CLI 2.85.0 或更高版本。 运行
az --version以检查。 若要安装或升级,请参阅安装 Azure CLI。如果未安装 aks-preview 扩展,请安装它。 如果已安装,请更新它。 本指南需要版本 22.0.0b15 或更高版本:
# Install the aks-preview extension az extension add --name aks-preview # Update the extension to make sure you have the latest version installed az extension update --name aks-preview存储的日志模式需要 Cilium 数据平面以及创建和更新群集范围的
ContainerNetworkLog资源的权限。按需日志模式适用于 Cilium 和非 Cilium 数据平面。
群集必须运行 Kubernetes 版本 1.36 或更高版本。
可选:DNS 和第 7 层可见性
基本网络流收集不需要 DNS 或 HTTP 检查。 仅当调查需要特定于协议的详细信息时,才配置以下内容。
- HTTP:启用第 7 层策略支持,并使用包含要检查的流量的 HTTP 规则应用策略。 若要了解详细信息,请参阅 Layer 7 策略指南,请参阅 配置 Layer 7 策略。
- 仅当应用 Cilium FQDN 网络策略时,才会捕获 DNS 流和指标。 有关详细信息,请参阅 配置 FQDN 策略。
集合筛选器选择要记录的流;它们不启用协议检查。 网络策略可能会影响应用程序连接,因此请应用适合您的工作负载的策略。
配置日志存储模式
存储日志模式持续收集群集节点上的所选网络流。 开始采集:
- 使用 Cilium 数据平面在受支持的群集上启用 ACNS。
-
ContainerNetworkLog应用自定义资源以选择要捕获的流量。
配置生效后,ACNS 会将匹配的流观察写入观察该流量的节点上的 /var/log/acns/hubble/events.log。 默认情况下,流日志聚合每 30 秒将具有匹配分组字段值的观察结果合并为汇总记录。
选择如何访问日志:
- Azure Monitor:配置监视附加产品,并启用容器网络日志转发,以将日志发送到 Log Analytics 工作区,用于保留、KQL 查询和仪表板。
- 你自己的日志记录后端: 将收集器配置为将节点本地文件转发到现有后端。
- 节点本地文件: 直接检查文件进行短期调查。 文件会轮换,因此此选项不提供长期保留。
以下步骤介绍新的和现有的群集。 从默认聚合设置开始,验证采集是否正常,然后在调查需要更多详细信息时自定义分组字段。
已存储的日志如何端到端传输
部署选项
无论部署方法如何,都启用 ACNS 并应用 ContainerNetworkLog 资源。 以下Azure CLI演练介绍了完整的设置。 ARM 和Bicep指南涵盖了可选的Azure Monitor集成。
端到端设置
按顺序执行这些步骤。 需要步骤 1 和 2。 步骤 3 是可选的,仅当需要将日志转发到Azure Monitor时才需要。
| Step | 你做的事情 | Required? |
|---|---|---|
| 1 | 确保您的群集(新建或现有)已启用 ACNS | Yes |
| 2 | 创建资源 ContainerNetworkLog 以选择流量 |
Yes |
| 3 | 将日志转发到 Azure Monitor 以进行持久存储 | Optional |
设置环境变量一次,并在整个过程中重复使用它们:
# Replace placeholders with your own values
export CLUSTER_NAME="<aks-cluster-name>"
export RESOURCE_GROUP="<aks-resource-group>"
export LOCATION="<location>"
步骤 1:确保群集上启用了 ACNS
使用与情况匹配的选项。
选项 A:使用 ACNS 创建新群集
# Create the resource group if it doesn't already exist
az group create --name $RESOURCE_GROUP --location $LOCATION
# Create an AKS cluster with ACNS
az aks create \
--resource-group $RESOURCE_GROUP \
--name $CLUSTER_NAME \
--location $LOCATION \
--pod-cidr 192.168.0.0/16 \
--network-plugin azure \
--network-plugin-mode overlay \
--network-dataplane cilium \
--generate-ssh-keys \
--enable-acns
Tip
如果订阅中没有默认 VM 大小,请添加 --node-vm-size Standard_D4ads_v5。
如果已知道要将日志转发到Azure Monitor,则可以在一个命令中执行所有操作。 请参阅 Shortcut:从头开始创建具有Log Analytics的群集。
获取群集凭据,以便可以运行 kubectl 命令:
az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP
选项 B:使用现有群集
如果 Cilium 群集上尚未启用 ACNS,请启用它:
az aks update --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP --enable-acns
获取群集凭据并确认当前上下文是预期群集:
az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP
kubectl config current-context
步骤 2:创建 ContainerNetworkLog 资源以启动日志收集
在创建至少一个 ContainerNetworkLog 自定义资源之前,存储的日志模式不会收集任何内容。 此资源指定要按命名空间、Pod、标签、IP 地址、Cilium 安全身份、协议或判定结果捕获哪些流量。
自定义应用程序的 ContainerNetworkLog 模板 ,将其另存为 YAML 文件,并应用它:
kubectl apply -f "<your-log-configuration.yaml>"
使用唯一的资源名称以避免覆盖现有配置。
当配置到达代理时,它们会将匹配的流写入观察到该流量的节点上的 /var/log/acns/hubble/events.log。
Tip
有关实际示例,请参阅 AKS 实验室文档中的示例资源。
注释
主机节点上的日志是临时的。 文件在达到 50 MB 时自动切换,旧的记录会被覆盖。 对于永久性存储,请完成步骤 3。 还可以使用任何与 OpenTelemetry 兼容的收集器或日志记录服务(而不是Azure Monitor)将日志转发到 SIEM 或可观测性后端。
可以使用默认聚合设置,或使用附加字段自定义流日志聚合。
步骤 3 (可选):将日志转发到持久性存储Azure Monitor
如果您希望将日志转发到 Log Analytics 工作区以便进行长期保留、KQL 查询,以及使用内置 Azure 门户和 Grafana 仪表板,请完成此步骤。 如果计划直接使用主机本地日志,或者通过自己的 OpenTelemetry 收集器或日志记录服务转发它们,请跳过它。
3a. 启用Azure Monitor加载项(Log Analytics):
# Choose one option: default or existing Log Analytics workspace
# Default workspace
az aks enable-addons -a monitoring -g $RESOURCE_GROUP -n $CLUSTER_NAME
# To use an existing Log Analytics workspace
az aks enable-addons -a monitoring -g $RESOURCE_GROUP -n $CLUSTER_NAME --workspace-resource-id "<workspace-resource-id>"
3b. 启用容器网络日志标志:
az aks update --enable-acns \
--enable-container-network-logs \
-g $RESOURCE_GROUP \
-n $CLUSTER_NAME
使用在启用监视加载项时所选的Log Analytics 工作区。 用于托管 Prometheus 指标的Azure Monitor工作区是不同的资源。
注释
在生成要验证的流量之前配置转发。 不要依赖于启用转发来回填历史主机本地日志。
快捷方式:从头开始创建具有Log Analytics的群集
如果要创建新群集并已知道要将日志发送到Log Analytics工作区,可以将步骤 1 和步骤 3 合并为单个创建命令:
az aks create \
--resource-group $RESOURCE_GROUP \
--name $CLUSTER_NAME \
--location $LOCATION \
--pod-cidr 192.168.0.0/16 \
--network-plugin azure \
--network-plugin-mode overlay \
--network-dataplane cilium \
--generate-ssh-keys \
--enable-acns \
--enable-addons monitoring \
--enable-container-network-logs
若要使用现有 Log Analytics 工作区,请将 --workspace-resource-id "<log-analytics-workspace-resource-id>" 添加到 create 命令中。
仍需要完成步骤 2(创建 ContainerNetworkLog 资源)以定义要捕获的流量。 Log Analytics集成已到位,因此会自动收集匹配的流并将其发送到工作区。
ContainerNetworkLog CRD 模板
自定义 ContainerNetworkLog 资源定义要捕获的网络流,并允许使用其他分组字段自定义流日志聚合。
可以创建多个资源,每个资源都面向不同的流量。
以下模板显示了一个资源中的流量选择器和可选聚合。 替换示例值,并仅包含应用程序所需的选择器和附加字段。
apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
name: sample-containernetworklog # Cluster scoped
spec:
includefilters: # At least one filter is required
- name: sample-filter
from:
namespacedPod: # Format: namespace/pod
- sample-namespace/sample-pod
labelSelector:
matchExpressions:
- key: environment
operator: In
values:
- production
- staging
ip: # Single IP or CIDR
- "192.168.1.10"
- "10.0.0.1"
to:
namespacedPod:
- sample-namespace2/sample-pod2
labelSelector:
matchLabels:
app: backend
ip:
- "192.168.1.20"
- "10.0.1.1"
protocol: # tcp, udp, dns
- tcp
- udp
- dns
verdict: # forwarded, dropped
- forwarded
- dropped
aggregation: # Optional; omit to use service-managed grouping fields
additionalFields:
- traffic_direction # Example; choose supported Flow fields for your needs
将模板另存为 YAML 文件,并在应用模板之前替换示例值。
在筛选器中,指定的终结点、协议和判决条件必须匹配。
模板每个终结点使用一个标签条件;命名空间限制来自 namespacedPod. 删除不需要的条件,而不是一起复制不相关的 Pod 名称、标签和 IP 地址。 各个筛选器条目之间为 OR 关系。 对于较小的配置,请使用 聚合自定义示例。
Important
一个 labelSelector 内部的多个条件可以匹配为替代项,而不是要求每个条件匹配。 为了避免收集比预期更多的流量,请使用每个终结点的一个 matchLabels 条目或一个 matchExpressions 条件。 将其与命名空间或 Pod、IP、协议或判定条件相结合,而不是添加更多标签条件。
可选 aggregation 块允许自定义流日志聚合。
traffic_direction 只是一个示例,而不是必需字段或唯一的选择。
您可以从 Cilium 的 Flow中选择任何来自 Hubble 消息且受群集上运行的 Cilium 版本支持的有效字段路径。
选择其他字段时:
- 使用受支持的区分大小写的路径。 关联的
main分支可以包含您的群集版本尚不支持的字段。 - 原始流必须包含数据。 添加字段不会启用 DNS 或 HTTP 检查。 查询转发的日志时,请使用现有的Log Analytics表列和动态属性;添加字段不会创建新表列。
- 更改将在整个群集范围内生效。 附加字段会影响所有选定的存储日志,包括其他资源选择的流量。 它们扩展服务默认值,而无需删除默认值或更改 30 秒聚合间隔。 更改会影响新记录,而不会影响历史日志。
- 评估数据量和成本。 如果需要更精细的详细信息,可以使用高基数字段,但其许多不同值可能会增加日志量以及摄取和存储成本。 还查看敏感数据的影响。
省略 aggregation 使用服务默认值,而无需从此资源请求其他字段。 有关示例,请参阅 自定义流日志聚合 。
CRD 字段参考
| 领域 | 类型 | 说明 | 必需 |
|---|---|---|---|
spec.includefilters |
[]过滤器 | 用于定义要捕获的网络流的筛选器。 必须至少包含一个筛选器。 | Yes |
includefilters[].name |
String | 日志筛选器的名称。 | Yes |
includefilters[].protocol |
[]字符串 | 要匹配的协议:tcp、、udpdns。 如果省略,则不会添加协议限制。 |
No |
includefilters[].verdict |
[]字符串 | 流裁定以匹配:forwarded、dropped。 如果省略,则不会添加任何判决限制。 |
No |
includefilters[].from |
终结点 | 流的源。 可以包括 IP、标签、命名空间/Pod 选择器和数字标识。 | No |
includefilters[].to |
终结点 | 网络流的目标。 与from相同的选项。 |
No |
Endpoint.ip |
[]字符串 | 单个 IP 地址或 CIDR 范围。 | No |
Endpoint.labelSelector |
Object | 基于标签的端点选择。 每个终结点使用一个 matchLabels 条目或一个 matchExpressions 条件;请参阅上述多条件限制。 |
No |
Endpoint.namespacedPod |
[]字符串 | 采用 namespace/pod 格式的确切命名空间和 Pod 名称前缀。 对该命名空间中的所有 Pod 使用 namespace/。 |
No |
Endpoint.identities |
[]integer | 从 0 到 16777215 的 Cilium 数字安全标识 这些值是可选项。 |
No |
spec.aggregation.additionalFields |
[]字符串 | 附加的区分大小写的流字段路径,用于自定义群集范围的聚合分组。 需要包含筛选器;不会替换服务默认值。 | No |
省略协议或裁定条件不会启用缺少的协议可见性。 每个筛选器必须包含流量选择条件,而不仅仅是一个名称。
捕获第 7 层和 DNS 流
除了日志收集之外,第 7 层和 DNS 字段还需要可见性配置。 资源 ContainerNetworkLog 选择要记录的流量;它不会启用检查或更改网络策略。
- 对于 DNS,请遵循 配置 FQDN 筛选策略。
- 对于 HTTP 和其他第 7 层方案,请遵循 配置第 7 层策略。
网络策略可能会影响对应用程序的访问。 应用适用于工作负荷的策略,然后使用以下示例根据所需详细信息自定义聚合。
验证设置
这些步骤适用于新的和现有的群集设置。
获取群集凭据
az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP
确认已启用容器网络日志
az aks show -g $RESOURCE_GROUP -n $CLUSTER_NAME
检查是否 networkProfile.advancedNetworking.enabled 和 networkProfile.advancedNetworking.observability.enabled 是否 true。
如果使用Azure Monitor,还请检查监视加载项配置。
使用下面的查询确认实际摄取。
检查自定义资源状态
列出群集中的所有 ContainerNetworkLog 资源:
kubectl get containernetworklog
它将提供您刚刚创建的 containernetworklog 资源的名称。 使用以下命令中的该名称检查其状态:
检查特定资源的状态:
kubectl describe containernetworklog "<cr-name>"
字段 Status>State 应显示 CONFIGURED。 如果显示 FAILED,请阅读 status.reason 并更正配置。 在配置其他分组字段时,查看 status.warnings。 在生成流量之前,请等待配置传播完成;仅凭此状态并不能验证数据摄取已完成。
Spec:
Includefilters:
From:
Namespaced Pod:
namespace/pod-
Name: sample-filter
Protocol:
tcp
To:
Namespaced Pod:
namespace/pod-
Verdict:
dropped
Status:
State: CONFIGURED
Timestamp: 2025-05-01T11:24:48Z
可以应用多个 ContainerNetworkLog 自定义资源。 每个都有其自己的状态。
生成测试流量
从筛选器选择的正在运行的应用程序 Pod 中,向预计可以访问的 HTTP 或 HTTPS 终结点发出请求。 替换以下命令中的值。 Pod 必须具有 curl;对于多个容器,请将 -c <container-name> 添加到 kubectl exec。
NAMESPACE="<application-namespace>"
CLIENT_POD="<running-pod-with-curl>"
TEST_URL="https://<approved-host>/"
date -u '+Test start (UTC): %Y-%m-%dT%H:%M:%SZ'
kubectl exec -n "$NAMESPACE" "$CLIENT_POD" -- \
curl --fail --show-error --silent --output /dev/null \
--write-out 'HTTP %{http_code}\n' \
--connect-timeout 10 --max-time 20 "$TEST_URL"
使用应用程序可以访问的 URL。 成功的响应确认请求已成功执行。 接下来,检查其网络日志是否显示在日志记录后端中。
在 Log Analytics 中查询日志
在打开仪表板之前,确认测试流量已到达 ContainerNetworkLogs 表。 获取群集资源 ID:
az aks show -g "$RESOURCE_GROUP" -n "$CLUSTER_NAME" --query id -o tsv
在接收Log Analytics工作区中打开日志。 将以下查询中的群集 ID 和命名空间替换为您的值:
ContainerNetworkLogs
| where TimeGenerated > ago(15m)
| where _ResourceId =~ "<AKS-resource-ID>"
| where SourceNamespace == "<namespace>"
| project TimeGenerated, SourceNamespace, SourceWorkloads,
DestinationNamespace, DestinationWorkloads, Verdict, Layer4
| order by TimeGenerated desc
允许聚合和摄取延迟,然后使用源工作负荷和目标端口在测试开始时间后查找记录。 如果测试时间较早,则放宽 ago(15m)。 计数表示聚合的观察值,而不是唯一的请求。 命名空间和工作负载元数据默认会被保留;而 pod 名称不会保留。
如果使用自己的日志收集器而不是 Azure Monitor,请确认它将来自 /var/log/acns/hubble/events.log 的新记录转发到日志后端。
有关更多示例查询,请参阅 使用流日志进行渐进式诊断。
使用 Grafana 仪表板进行可视化
无需创建Azure 托管 Grafana实例,即可通过 Azure 门户访问预生成的 Grafana 仪表板。 门户仪表板体验是免费的;ACNS 和日志摄取及保留费用仍适用。 在开始之前,请确保Azure Monitor日志 Pod 正在运行:
kubectl get pods -o wide -n kube-system | grep ama-logs
预期输出:
ama-logs-9bxc6 3/3 Running 1 (39m ago) 44m
ama-logs-fd568 3/3 Running 1 (40m ago) 44m
ama-logs-rs-65bdd98f75-hqnd2 2/2 Running 1 (43m ago) 22h
可选:授予单独的 Grafana 实例访问权限
使用内置Azure门户仪表板时跳过本部分。 如果使用单独的托管 Grafana 工作区,请让管理员在监视设置所需的范围内授予对日志数据的访问权限。 以下步骤显示了订阅范围的 Monitoring Reader 分配。
如果您是订阅所有者或用户访问管理员,那么托管的 Grafana 工作区在创建时会自动分配该角色。
如果上述情况不符合(或者 Log Analytics 和 Grafana 工作区位于不同的订阅账户中),请手动授予角色:
在托管 Grafana 工作区中,转到 “设置>身份”。
选择Azure角色分配>添加角色分配。
将 范围 设置为 订阅,选择订阅,将 角色 设置为 “监视读取者”,然后选择“ 保存”。
在托管 Grafana 实例的 “数据源 ”选项卡中验证数据源:
访问仪表板
若要从Azure门户打开仪表板,请执行以下操作:
- 在 Azure 门户中,转到 AKS 群集。
- 在监控下,选择使用 Grafana 的仪表板。
- 浏览Azure Monitor下的网络流日志仪表板。
在 Azure Monitor>Insights>Containers>Networking 下查找仪表板。 有两个选项,具体取决于为 Log Analytics 中的 ContainerNetworkLogs 表选择的层:
| Dashboard | 路径 | 表格层级 | Grafana ID |
|---|---|---|---|
| 流日志 - 基本层 | Azure>监控>容器>网络>流日志 - 基本层 | 基本 | 23155 |
| 流日志 - 分析层 | Azure>见解>容器>网络>流量日志 - 分析层级 | 分析(默认) | 23156 |
这两个仪表板都显示工作负载通信以及被转发或丢弃的观测数据。 可用详细信息取决于协议可见性和聚合字段。 Grafana ID 用于单独的 Grafana 部署;你不需要这些 ID 即可使用门户仪表板。 使用与您为 ContainerNetworkLogs 表配置的等级相匹配的项。
有关仪表板组件的详细信息,请参阅 容器网络日志概述。
Tip
表 ContainerNetworkLogs 默认为 Analytics 层。 若要降低引入和保留成本,可以切换到 基本 层并使用相应的仪表板。 有关详细信息,请参阅日志分析表格计划。
自定义流日志聚合
该服务在 30 秒间隔内使用 其默认分组字段 聚合流日志。 通过 spec.aggregation.additionalFields 添加支持的字段,以自定义日志为操作和调查需求保留的区分维度。
附加分组字段扩展默认值;它们不会更改间隔。 它们适用于 群集中所有选定的已存储的日志,包括其他资源选择的流量。 使用群集与其他团队协调更改。 更改会影响新记录,而不会影响历史日志。
以下示例演示目标 IP 地址和 DNS 查询名称如何帮助回答特定的调查问题。 它们不是受支持字段的详尽列表。 在查询结果之前完成存储日志设置和转发。 如果示例名称已在使用中,请使用新的资源名称。
Important
目标 IP 地址和 DNS 查询名称是 高基数字段:它们可以具有许多不同的值。 在需要这些详细信息时,可以启用它们;但在启用之前,应先评估整个集群范围内日志量可能增加,以及日志采集和存储成本可能上升的影响。 监视使用情况,查看敏感数据的影响,并在调查结束时删除临时添加。
聚合字段示例 1:标识目标 IP 地址
问题:我的工作负荷与哪些目标 IP 地址进行过通信?
默认聚合会保留工作负载元数据和目标端口,但不保留各个目标 IP 地址。 添加 IP.destination 以区分否则会共享相同默认分组值的地址,例如同一工作负荷中的后端副本。 此字段可帮助你确定连接调查中涉及的目标。 该字段记录在观察点看到的地址;它不是地址翻译的完整记录。
将以下配置另存为 destination-ip-logs.yaml,并将 production/ 替换为你的应用程序的命名空间:
apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
name: destination-ip-logs
spec:
includefilters:
- name: namespace-tcp
from:
namespacedPod: ["production/"]
protocol: ["tcp"]
aggregation:
additionalFields:
- IP.destination
验证并应用资源,然后检查 status.state: CONFIGURED:
kubectl apply --dry-run=server -f destination-ip-logs.yaml
kubectl apply -f destination-ip-logs.yaml
kubectl get containernetworklog destination-ip-logs -o yaml
根据 “生成测试流量”中所述生成新的 TCP 流量。 替换此查询中的群集 ID 和命名空间:
let ClusterResourceId = "<AKS-resource-ID>";
ContainerNetworkLogs
| where TimeGenerated > ago(30m)
| where _ResourceId =~ ClusterResourceId
| where SourceNamespace == "production"
| where isnotempty(Layer4.TCP)
| project TimeGenerated, SourceNamespace, SourceWorkloads,
DestinationNamespace, DestinationWorkloads,
DestinationIP = tostring(IP.destination),
DestinationPort = toint(Layer4.TCP.destination_port),
Verdict,
IngressFlowCount, EgressFlowCount
| order by TimeGenerated desc
查找所选的工作负荷和目标端口,然后检查 DestinationIP。
当流量到达同一工作负荷中的不同后端地址时,查询会单独显示这些地址。 比较地址和判定结果以缩小调查范围;仅转发的判定结果并不能证明应用程序成功。
IP.destination 是一种高基数新增项,因此请查看前面所述的数据量和成本影响。
聚合字段示例 2:识别与失败关联的 DNS 名称
问题: 哪个 DNS 名称为我的应用程序返回了 NXDOMAIN?
默认聚合保留 DNS 响应代码,但不会保留请求的名称。
添加 l7.dns.query 以标识与响应关联的名称,并使用 l7.type 明确选择响应。 这有助于查找拼写错误的服务名称或对不再存在的服务的引用。
l7.dns.query 是高基数;l7.type 具有一小组值。 DNS 响应代码 (l7.dns.rcode) 已是默认分组字段,无需添加。
首先,使用 为正在运行的客户端 Pod 配置 DNS 可见性。
保存为 dns-investigation.yaml. 将两个筛选器中的 pets/dns-client 替换为客户端命名空间和 Pod 名称前缀:
apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
name: dns-investigation
spec:
includefilters:
- name: dns-from-client
from:
namespacedPod: ["pets/dns-client"]
protocol: ["dns"]
- name: dns-to-client
to:
namespacedPod: ["pets/dns-client"]
protocol: ["dns"]
aggregation:
additionalFields:
- l7.dns.query
- l7.type
这两个筛选器选择来自客户端或发往客户端的 DNS 流量。 应用资源并检查 status.state: CONFIGURED:
kubectl apply --dry-run=server -f dns-investigation.yaml
kubectl apply -f dns-investigation.yaml
kubectl get containernetworklog dns-investigation -o yaml
使用客户端生成查找,并对预期可解析的名称进行查找。 对于服务测试,带有尾随点的完全限定名称可避免 DNS 搜索后缀重试:
DNS_NAMESPACE="pets"
DNS_CLIENT_POD="<your-client-pod>"
DNS_NAME="<name-to-resolve>"
date -u '+DNS test start (UTC): %Y-%m-%dT%H:%M:%SZ'
kubectl exec -n "$DNS_NAMESPACE" "$DNS_CLIENT_POD" -- nslookup "$DNS_NAME"
对于具有多个容器的 Pod,请将 -c <container-name> 添加到 kubectl exec。
若要调查已报告的故障,请使用受影响的名称重复查找。
聚合和引入后,在Log Analytics中查询新响应。 替换群集 ID 和客户端命名空间:
ContainerNetworkLogs
| where TimeGenerated > ago(30m)
| where _ResourceId =~ "<AKS-resource-ID>"
| where DestinationNamespace == "<client-namespace>"
| where tostring(Layer7.type) == "RESPONSE"
| where isnotempty(Layer7.dns)
| project TimeGenerated, DestinationNamespace, DestinationWorkloads,
RequestedName = tostring(Layer7.dns.query),
DnsMessageType = tostring(Layer7.type),
DnsResponseCode = toint(Layer7.dns.rcode),
IngressFlowCount, EgressFlowCount
| order by TimeGenerated desc
l7.dns.query 可通过 Layer7.dns.query 查询,l7.type 可通过 Layer7.type 查询。 查找你在其中 RequestedName 测试的名称并检查其响应代码。 客户端是 DNS 响应的目标。
代码 3 表示该名称的 NXDOMAIN。 成功的响应可以省略代码 0(NOERROR),因此请通过 nslookup 返回的地址确认是否成功。
仅空白代码就不是成功证明。
此示例保留请求的名称和响应结果,但不保留返回的 IP 地址。 记录仍是聚合的,而不是每次查找的完整事件历史记录或唯一请求的计数。 DNS 名称可以暴露内部服务详细信息;查看数据访问和保留以及摄取量。
选择其他字段
选择群集的 Hubble Flow 架构支持的任何其他字段,根据需求定制聚合。 工作负载元数据、目标端口和 DNS/HTTP 响应代码已包含在默认值中。
IP 地址、Pod 名称、源端口、DNS 名称和 HTTP URL 可以提供更详细的详细信息。 由于这些字段可以具有许多不同的值,因此在启用日志之前,请评估对群集范围的日志量、引入和存储成本以及敏感数据的影响。 监视使用情况,在可见性与预算之间取得平衡。
字段路径区分大小写,且必须受群集上的 Cilium 版本支持;请参阅 Hubble Flow 定义。 原始流必须包含数据。 保留的值将写入节点本地日志,并在转发后,可使用 ContainerNetworkLogs 表中的现有列和动态属性进行查询。 添加字段不会创建新表列。
按 Cilium 安全标识筛选日志
使用 from.identities 或 to.identities 按 Cilium 的数字端点分类选择流量。 例如,收集从某个命名空间发往被归类为 world 的目标的 TCP 流量。 此筛选器使用默认聚合字段。
将此配置另存为 world-egress-logs.yaml,用您的命名空间替换 production/:
apiVersion: acn.azure.com/v1alpha1
kind: ContainerNetworkLog
metadata:
name: production-world-egress
spec:
includefilters:
- name: production-to-world
from:
namespacedPod: ["production/"]
to:
identities: [2, 9, 10]
protocol: ["tcp"]
kubectl apply --dry-run=server -f world-egress-logs.yaml
kubectl apply -f world-egress-logs.yaml
kubectl get containernetworklog production-world-egress -o yaml
资源报告 CONFIGURED 后,向已批准的外部目标发送流量。 检查所选工作负荷的新 Log Analytics 记录,以及配置列表中的 DestinationIdentity 值。 其他资源可以继续收集其他流量。
| Value | Cilium 身份 |
|---|---|
2 |
世界 |
9 |
全球 IPv4 |
10 |
世界 IPv6 |
这些值是替代项;2 不会同时选择 9 和 10。
API 接受从 0 到 16777215 的整数,而不是别名,例如 world。 这些值不是 Azure 托管标识。 分配了另一个标识(例如 CIDR 标识)的终结点与此列表不匹配。
删除临时自定义
若要在保留流量筛选器时停止请求其他字段,请从已保存的清单中删除该 aggregation 部分并重新应用它。 其他资源仍可以请求这些字段;服务默认值保持不变。
若要删除临时集合资源,请仅删除您创建的那个集合资源:
kubectl delete containernetworklog "<your-investigation-resource-name>"
不会删除历史日志。
配置按需日志模式
按需日志允许实时捕获流数据,而无需持久存储。 此模式适用于 Cilium 和非 Cilium 数据平面。
群集需要启用 高级容器网络服务 。 如果尚未启用 ACNS 群集,请创建一个:
export CLUSTER_NAME="<aks-cluster-name>"
export RESOURCE_GROUP="<aks-resource-group>"
az aks create \
--name $CLUSTER_NAME \
--resource-group $RESOURCE_GROUP \
--generate-ssh-keys \
--location eastus \
--max-pods 250 \
--network-plugin azure \
--network-plugin-mode overlay \
--network-dataplane cilium \
--node-count 2 \
--pod-cidr 192.168.0.0/16 \
--kubernetes-version 1.36 \
--enable-acns
在现有群集上启用 ACNS
在已配置的群集上启用 ACNS,请执行以下步骤:
az aks update \
--resource-group $RESOURCE_GROUP \
--name $CLUSTER_NAME \
--enable-acns
注释
容器网络安全功能需要 Cilium 数据平面。
获取群集凭据:
az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP
安装 Hubble CLI
在 Linux Bash 终端中运行这些命令。
export HUBBLE_VERSION=v1.16.3
export HUBBLE_ARCH=amd64
if [ "$(uname -m)" = "aarch64" ]; then HUBBLE_ARCH=arm64; fi
curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/$HUBBLE_VERSION/hubble-linux-${HUBBLE_ARCH}.tar.gz{,.sha256sum}
sha256sum --check hubble-linux-${HUBBLE_ARCH}.tar.gz.sha256sum
sudo tar xzvfC hubble-linux-${HUBBLE_ARCH}.tar.gz /usr/local/bin
rm hubble-linux-${HUBBLE_ARCH}.tar.gz{,.sha256sum}
使用 Hubble CLI
确认 Hubble Relay Pod 正在运行:
kubectl get pods -o wide -n kube-system -l k8s-app=hubble-relay预期输出:
hubble-relay-7ddd887cdb-h6khj 1/1 Running 0 23h在继续操作之前,请确认客户端证书机密可用:
kubectl get secret hubble-relay-client-certs -n kube-system在配置客户端之前解决缺少的资源或访问错误。
在专用终端中为 Hubble Relay 设置端口转发:
kubectl port-forward -n kube-system svc/hubble-relay --address 127.0.0.1 4245:443使用 Hubble 时将其保持运行状态。 在第二个终端中执行以下命令,并在完成后使用 Ctrl+C 停止端口转发。
在第二个终端中为 Hubble 客户端配置 mTLS 证书:
#!/usr/bin/env bash set -euo pipefail CERT_DIR="$(pwd)/.certs" umask 077 mkdir -p "$CERT_DIR" declare -A CERT_FILES=( ["tls.crt"]="tls-client-cert-file" ["tls.key"]="tls-client-key-file" ["ca.crt"]="tls-ca-cert-files" ) for FILE in "${!CERT_FILES[@]}"; do KEY="${CERT_FILES[$FILE]}" JSONPATH="{.data['${FILE//./\\.}']}" kubectl get secret hubble-relay-client-certs -n kube-system \ -o jsonpath="${JSONPATH}" | \ base64 -d > "$CERT_DIR/$FILE" hubble config set "$KEY" "$CERT_DIR/$FILE" done hubble config set tls true hubble config set tls-server-name instance.hubble-relay.cilium.io hubble config set server localhost:4245观察涉及要调查的 Pod 的流。 替换这些值:
hubble observe --pod "<namespace>/<pod-name>"查找涉及所选 Pod 的流。 如果没有显示,请检查 Pod 名称,以及它是否正在生成流量。 仅凭空结果并不能说明存在连接问题。
设置 Hubble UI
如果 Hubble UI 部署已存在,请与其所有者协调,而不是覆盖它。
将以下清单另存为
hubble-ui.yaml:apiVersion: v1 kind: ServiceAccount metadata: name: hubble-ui namespace: kube-system --- kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1 metadata: name: hubble-ui labels: app.kubernetes.io/part-of: retina rules: - apiGroups: - networking.k8s.io resources: - networkpolicies verbs: - get - list - watch - apiGroups: - "" resources: - componentstatuses - endpoints - namespaces - nodes - pods - services verbs: - get - list - watch - apiGroups: - apiextensions.k8s.io resources: - customresourcedefinitions verbs: - get - list - watch - apiGroups: - cilium.io resources: - "*" verbs: - get - list - watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: hubble-ui labels: app.kubernetes.io/part-of: retina roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: hubble-ui subjects: - kind: ServiceAccount name: hubble-ui namespace: kube-system --- apiVersion: v1 kind: ConfigMap metadata: name: hubble-ui-nginx namespace: kube-system data: nginx.conf: | server { listen 8081; server_name localhost; root /app; index index.html; client_max_body_size 1G; location / { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; # CORS add_header Access-Control-Allow-Methods "GET, POST, PUT, HEAD, DELETE, OPTIONS"; add_header Access-Control-Allow-Origin *; add_header Access-Control-Max-Age 1728000; add_header Access-Control-Expose-Headers content-length,grpc-status,grpc-message; add_header Access-Control-Allow-Headers range,keep-alive,user-agent,cache-control,content-type,content-transfer-encoding,x-accept-content-transfer-encoding,x-accept-response-streaming,x-user-agent,x-grpc-web,grpc-timeout; if ($request_method = OPTIONS) { return 204; } # /CORS location /api { proxy_http_version 1.1; proxy_pass_request_headers on; proxy_hide_header Access-Control-Allow-Origin; proxy_pass http://127.0.0.1:8090; } location / { try_files $uri $uri/ /index.html /index.html; } # Liveness probe location /healthz { access_log off; add_header Content-Type text/plain; return 200 'ok'; } } } --- kind: Deployment apiVersion: apps/v1 metadata: name: hubble-ui namespace: kube-system labels: k8s-app: hubble-ui app.kubernetes.io/name: hubble-ui app.kubernetes.io/part-of: retina spec: replicas: 1 selector: matchLabels: k8s-app: hubble-ui template: metadata: labels: k8s-app: hubble-ui app.kubernetes.io/name: hubble-ui app.kubernetes.io/part-of: retina spec: serviceAccountName: hubble-ui automountServiceAccountToken: true containers: - name: frontend image: mcr.azk8s.cn/oss/cilium/hubble-ui:v0.12.2 imagePullPolicy: Always ports: - name: http containerPort: 8081 livenessProbe: httpGet: path: /healthz port: 8081 readinessProbe: httpGet: path: / port: 8081 resources: {} volumeMounts: - name: hubble-ui-nginx-conf mountPath: /etc/nginx/conf.d/default.conf subPath: nginx.conf - name: tmp-dir mountPath: /tmp terminationMessagePolicy: FallbackToLogsOnError securityContext: {} - name: backend image: mcr.azk8s.cn/oss/cilium/hubble-ui-backend:v0.12.2 imagePullPolicy: Always env: - name: EVENTS_SERVER_PORT value: "8090" - name: FLOWS_API_ADDR value: "hubble-relay:443" - name: TLS_TO_RELAY_ENABLED value: "true" - name: TLS_RELAY_SERVER_NAME value: ui.hubble-relay.cilium.io - name: TLS_RELAY_CA_CERT_FILES value: /var/lib/hubble-ui/certs/hubble-relay-ca.crt - name: TLS_RELAY_CLIENT_CERT_FILE value: /var/lib/hubble-ui/certs/client.crt - name: TLS_RELAY_CLIENT_KEY_FILE value: /var/lib/hubble-ui/certs/client.key livenessProbe: httpGet: path: /healthz port: 8090 readinessProbe: httpGet: path: /healthz port: 8090 ports: - name: grpc containerPort: 8090 resources: {} volumeMounts: - name: hubble-ui-client-certs mountPath: /var/lib/hubble-ui/certs readOnly: true terminationMessagePolicy: FallbackToLogsOnError securityContext: {} nodeSelector: kubernetes.io/os: linux volumes: - configMap: defaultMode: 420 name: hubble-ui-nginx name: hubble-ui-nginx-conf - emptyDir: {} name: tmp-dir - name: hubble-ui-client-certs projected: defaultMode: 0400 sources: - secret: name: hubble-relay-client-certs items: - key: tls.crt path: client.crt - key: tls.key path: client.key - key: ca.crt path: hubble-relay-ca.crt --- kind: Service apiVersion: v1 metadata: name: hubble-ui namespace: kube-system labels: k8s-app: hubble-ui app.kubernetes.io/name: hubble-ui app.kubernetes.io/part-of: retina spec: type: ClusterIP selector: k8s-app: hubble-ui ports: - name: http port: 80 targetPort: 8081应用清单并等待 UI 准备就绪:
kubectl apply -f hubble-ui.yaml kubectl rollout status deployment/hubble-ui -n kube-system --timeout=120s设置端口转发:
kubectl -n kube-system port-forward --address 127.0.0.1 svc/hubble-ui 12000:80在浏览器中打开
http://localhost:12000/以访问 Hubble UI。完成后,使用 Ctrl+C 停止端口转发。 如果只是为这项调查创建了该 UI,并且没有其他人需要它,请使用
kubectl delete -f hubble-ui.yaml将其删除。
Troubleshooting
未启用 ACNS。 在没有 ACNS 的情况下运行
--enable-container-network-logs将生成:Flow logs requires '--enable-acns', advanced networking to be enabled.Kubernetes 版本太旧。 在版本低于 1.36.0 的群集上运行
--enable-container-network-logs将产生:The specified orchestrator version %s is not valid. Advanced Networking Flow Logs is only supported on Kubernetes version 1.36.0 or later.CRD 无法识别。 在没有 ACNS 的群集上应用
ContainerNetworkLog后,结果是:error: resource mapping not found for <....>": no matches for kind "ContainerNetworkLog" in version "acn.azure.com/v1alpha1"确保已在群集上启用 ACNS。
附加字段或标识筛选器被拒绝。 使用
kubectl explain containernetworklog.spec.includefilters.to.identities或kubectl explain containernetworklog.spec.aggregation.additionalFields检查已安装的 API。 对于报告FAILED的资源,请阅读status.reason并更正配置。会出现基数警告。 警告不会阻止收集。 查看其他分组字段并监视摄取量。
资源已配置,但未显示任何记录。 留出时间等待配置传播生效、生成新的匹配流量,并检查查询时间范围、协议可见性和转发配置。
禁用存储日志模式
存储的日志有两个层: 节点上的日志生成,以及可选的转发到Azure Monitor。 可以单独关闭任一层。
停止生成日志
列出收集请求,然后仅删除其所有者批准停止收集的资源:
kubectl get containernetworklog
kubectl delete containernetworklog "<cr-name>"
其他收集请求可以保持日志记录活动状态,包括旧流日志资源(如果存在)。 与管理员协调群集范围的关闭。 历史记录保留在日志记录后端。
停止将日志转发到Azure Monitor
如果只想停止将日志发送到Log Analytics工作区,但在节点上继续生成日志,请禁用Azure Monitor集成:
az aks update -n $CLUSTER_NAME -g $RESOURCE_GROUP --disable-container-network-logs
现有 ContainerNetworkLog 资源仍然有效,因此流会继续到达每个节点 /var/log/acns/hubble/events.log ,直到删除这些资源。
清理资源
仅当为此练习创建了专用资源组并且不再需要其中的任何内容时,才删除该资源组。 此操作将删除该组中的所有资源:
az group delete --name $RESOURCE_GROUP
局限性
数据平面和 Kubernetes 版本
- 存储的日志模式需要 Cilium 数据平面和 Kubernetes 1.36 或更高版本。
- 按需日志(Hubble CLI 和 Hubble UI)适用于 Cilium 和非 Cilium 数据平面。
第 7 层和 DNS 可见性
- 仅在群集
CiliumNetworkPolicy上启用 L7 策略支持并且 L7 规则涵盖流量时,才会填充第 7 层流记录。 有关详细信息,请参阅 配置第 7 层策略。 - 仅当 Cilium FQDN 策略(
rules.dns加上toFQDNs)涵盖流量时,才会填充 DNS 记录。
主机本地存储
- 如果没有Azure Monitor或外部收集器,流日志将存储在每个节点上
/var/log/acns/hubble/events.log,上限为 50 MB。 达到上限后,旧的条目将被覆盖。 - 流日志将写入主机节点,并由Azure Monitor代理收集。 如果在应用
ContainerNetworkLog自定义资源后启用 Log Analytics 集成,则仅会采集从该时间点起的新日志。 不会收集主机上的历史日志。
Log Analytics
- 启用容器网络日志后切换Log Analytics工作区可能会导致日志停止流向新工作区。 发生这种情况是因为现有的Azure Monitor数据收集配置不会自动更新。 若要防止此问题,请在首次启用容器网络日志时配置所需的工作区,或者在更改工作区时手动更新关联的数据收集规则。 请参阅 在容器洞察中配置数据收集。
- 该
ContainerNetworkLogs表支持 Analytics (默认)和 基本 层。 不支持 辅助 层。
聚合权衡
- 使用
aggregation.additionalFields自定义新收集的日志的分组方式及其保留的详细信息。 数据必须存在于原始流中。 - 附加分组字段适用于整个集群,可增加引入成本。 它们不会更改聚合间隔、删除托管默认值或恢复历史详细信息。
- 聚合记录不会为组中的每个事件提供时间戳。 使用按需日志进行实时每流检查。
相关内容
- 什么是容器网络日志?
- AKS 的高级容器网络服务
- 高级容器网络服务中的容器网络可观测性