Azure Monitor 中的数据收集规则

项目
04/16/2024

数据收集规则 (DCR) 是一系列支持 Azure Monitor 中进行数据收集的指令。它们提供一致且集中的方式来定义和自定义不同的数据收集方案。根据不同场景，DCR 指定应收集哪些数据、如何转换该数据以及将该数据发送到哪里。

DCR 存储在 Azure 中，以便集中管理它们。数据收集工作流的不同组件将访问 DCR 以获取它所需的特定信息。某些情况下，可以使用 Azure 门户配置数据收集，Azure Monitor 会为你创建和管理 DCR。其他情况下需要创建自己的 DCR。还可以选择自定义现有 DCR 以满足所需的功能。

例如，下图演示了在虚拟机上运行的 Azure Monitor 代理的数据收集。在此方案中，DCR 指定事件和性能数据，代理使用这些数据确定要从计算机收集哪些数据并将其发送到 Azure Monitor。传递数据后，数据管道将运行 DCR 中指定的转换来筛选和修改数据，然后将数据发送到指定的工作区和表。其他数据收集方案的 DCR 可能包含不同的信息。

Azure Monitor 中的数据收集

DCR 是 Azure Monitor 实现的类似于 ETL 的新数据收集管道的一部分，改进了传统的数据收集方法。此过程对所有数据源使用通用数据引入管道，并提供比当前方法更易于管理和可缩放的标准配置方法。新数据收集的具体优点包括：

对不同数据源使用常见目标集。
能够在存储传入数据之前应用转换以进行筛选或修改。
对不同的数据源配置使用一致的方法。
支持基础结构即代码和 DevOps 进程的可缩放配置选项。

实现完成后，Azure Monitor 收集的所有数据都将使用新的数据收集过程，并由 DCR 进行管理。目前，只有某些数据收集方法支持引入管道，并且它们可能具有有限的配置选项。使用新引入管道收集的数据和使用其他方法收集的数据之间没有区别。数据都以日志和指标的形式存储，支持日志查询、警报和工作簿等 Azure Monitor 功能。唯一的区别在于收集方法。

查看数据收集规则

可以通过多种方式查看订阅中的 DCR。

若要在 Azure 门户中查看 DCR，请在“监视”菜单上的“设置”下选择“数据收集规则”。

选择查看其详细信息的 DCR。对于支持 VM 的 DCR，可以查看和修改其关联及其收集的数据。对于其他 DCR，请使用 JSON 视图查看 DCR 的详细信息。请参阅在 Azure Monitor 中创建和修改数据收集规则，详细了解如何修改这些规则。

注意

虽然此视图显示指定订阅中的所有 DCR，但选择“创建”按钮将为 Azure Monitor 代理创建数据收集。同样，此页面仅允许修改 Azure Monitor 代理的 DCR。有关如何为其他工作流创建和更新 DCR 的指南，请参阅在 Azure Monitor 中创建和修改数据收集规则。

使用 Get-AzDataCollectionRule 检索订阅中的 DCR。

Get-AzDataCollectionRule

使用 Get-azDataCollectionRuleAssociation 检索与 VM 关联的 DCR。

get-azDataCollectionRuleAssociation -TargetResourceId /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Compute/virtualMachines/my-vm | foreach {Get-azDataCollectionRule -RuleId $_.DataCollectionRuleId }

使用 az monitor 数据收集规则使用 Azure CLI 处理 DCR。

使用以下命令返回订阅中的所有 DCR。

az monitor data-collection rule list

使用以下命令返回 VM 的 DCR 关联。

az monitor data-collection rule association list --resource "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Compute/virtualMachines/my-vm "

数据收集规则关联

某些数据收集方案将使用数据收集规则关联 (DCRA)，它将 DCR 与正在监视的对象相关联。一个对象可以与多个 DCR 相关联，一个 DCR 可以与多个对象相关联。这样，就可以为一组对象管理单个 DCR。

例如，上图演示了 Azure Monitor 代理的数据收集。安装代理后，它会连接到 Azure Monitor 以检索与之关联的任何 DCR。可为多个 VM 创建与相同 DCR 的关联。

数据收集方案

下表描述了当前使用 DCR 和新的数据引入管道支持的数据收集方案。有关详细信息，请参阅每个条目中的链接。

场景	说明
虚拟机	在 VM 上安装 Azure Monitor 代理，并将其与一个或多个 DCR 相关联，这些 DCR 定义了要从客户端操作系统收集的事件和性能数据。你可以使用 Azure 门户执行此配置，因此不必直接编辑 DCR。请参阅使用 Azure Monitor 代理从虚拟机收集事件和性能计数器。
容器见解	在 Kubernetes 群集上启用容器见解时，它会部署 Azure Monitor 代理的容器化版本，以将日志从群集发送到 Log Analytics 工作区。 DCR 是自动为你创建的，但你可能需要修改它才能自定义收集设置。请参阅使用数据收集规则在容器见解中配置数据收集。
日志引入 API	日志引入 API 允许从任何 REST 客户端将数据发送到 Log Analytics 工作区。 API 调用指定 DCR 接受其数据并指定 DCR 的终结点。 DCR 了解传入数据的结构，它包含一个转换，可确保数据采用目标表的格式，并指定要发送转换后数据的工作区和表。请参阅 Azure Monitor 中的日志引入 API。
工作区转换 DCR	工作区转换 DCR 是一种特殊的 DCR，它与 Log Analytics 工作区相关联，允许你对使用其他方法收集的数据执行转换。为工作区创建单个 DCR 并向一个或多个表添加转换。转换适用于通过某种不使用 DCR 的方法发送到这些表的任何数据。请参阅 Azure Monitor 中的工作区转换 DCR。

数据复原能力和高可用性

DCR 会创建并存储在特定区域，并备份到同一地区内的配对区域。该服务将部署到该区域内的所有三个可用区域。因此，它是一项区域冗余服务，可进一步提高可用性。

后续步骤

请参阅以下文章，了解有关如何使用 DCR 的其他信息。

有关 DCR 的 JSON 结构以及用于不同工作流的不同元素的说明，请参阅数据收集规则结构。
不同数据收集场景下，示例 DCR 的示例数据收集规则 (DCR)。
在 Azure Monitor 中创建和修改数据收集规则介绍了不同数据收集场景下，不同的创建方法。
Azure Monitor 服务限制介绍了对于 DCR 实行的限制。