Azure Monitor 中的数据收集

  • 项目

Azure Monitor 具有一个 通用数据平台，可以合并来自各种源的数据。 目前，Azure Monitor 的不同数据源使用不同的方法来传递数据，并且每个数据源通常都需要不同类型的配置。 在Azure Monitor 监视数据源中获取最常用数据源的说明。

Azure Monitor 正在实现新的类似于 ETL 的数据收集管道，这种管道可以改进传统的数据收集方法。 此过程对所有数据源使用通用数据引入管道，并提供比当前方法更易于管理和可缩放的标准配置方法。 新数据收集的具体优点包括：

  • 对不同数据源使用常见目标集。
  • 能够在存储传入数据之前应用转换以进行筛选或修改。
  • 对不同的数据源配置使用一致的方法。
  • 支持基础结构即代码和 DevOps 进程的可缩放配置选项。

实现完成后，Azure Monitor 收集的所有数据都将使用新的数据收集过程，并由数据收集规则进行管理。 目前，只有某些数据收集方法支持引入管道，并且它们可能具有有限的配置选项。 使用新引入管道收集的数据和使用其他方法收集的数据之间没有区别。 数据都以日志和指标的形式存储，支持日志查询、警报和工作簿等 Azure Monitor 功能。 唯一的区别在于收集方法。

数据收集规则

Azure Monitor 数据收集是使用数据收集规则 (DCR) 配置的。 DCR 定义特定数据收集场景的详细信息，包括应收集哪些数据、如何转换该数据以及发送该数据的位置。 单个 DCR 可以与多个受监视的资源一起使用，从而提供一致的方法来配置各种监视方案。 在某些情况下，Azure Monitor 将使用 Azure 门户中的选项来创建和配置 DCR。 还可以直接编辑 DCR 以配置特定方案。

有关数据收集规则以及如何查看和创建它们的详细信息，请参阅 Azure Monitor 中的数据收集规则。

转换

新数据收集过程最有价值的功能之一是数据转换，通过这项功能可以将 KQL 查询应用到传入数据，以便在将数据发送到目标之前对其进行修改。 可以筛选掉不需要的数据或修改现有数据，从而改进查询或报告功能。

请参阅 Azure Monitor 中的数据收集转换，了解有关转换的完整详细信息，包括如何编写转换查询。

数据收集方案

以下部分介绍当前使用 DCR 和新的数据引入管道支持的数据收集方案。

Azure Monitor 代理

重要

Log Analytics 代理“已弃用”，且在 2024 年 8 月 31 日之后将不再受支持。 2024 年 1 月 1 日之后联机的任何新数据中心都不支持 Log Analytics 代理。 如果使用 Log Analytics 代理将数据引入 Azure Monitor，请在此日期之前迁移到新的 Azure Monitor 代理。

下图显示了在虚拟机上运行的 Azure Monitor 代理的数据收集。 在此方案中，DCR 指定要从代理计算机收集的事件和性能数据、用于在收集数据后筛选和修改数据的转换，以及用于发送转换后数据的 Log Analytics 工作区。 若要实现此方案，请在 DCR 与代理之间创建关联。 一个代理可以与多个 DCR 关联，并且一个 DCR 可以与多个代理相关联。

Azure Monitor 代理的数据收集的屏幕截图。

有关为 Azure Monitor 代理创建 DCR 的详细信息，请参阅使用 Azure Monitor 代理从虚拟机收集数据。

日志引入 API

下图显示了日志引入 API 的数据收集，该 API 允许从任何 REST 客户端将数据发送到 Log Analytics 工作区。 在此方案中，API 调用连接到数据收集终结点 (DCE)并指定要接受其传入数据的 DCR。 DCR 了解传入数据的结构，它包含一个转换，可确保数据采用目标表的格式，并指定要发送转换后数据的工作区和表。

显示使用日志引入 API 为自定义应用程序收集数据的示意图。

有关日志引入 API 的详细信息，请参阅 Azure Monitor 中的日志引入 API（预览版）。

工作区转换 DCR

下图显示了使用工作区转换 DCR 的资源日志的数据收集。 这是与工作区关联的特殊 DCR，可以为支持的表提供默认转换。 此转换应用于发送到不使用其他 DCR 的表的任何数据。 此处的示例显示使用诊断设置的资源日志，但这种相同的转换可以应用于其他数据收集方法，例如 Log Analytics 代理或容器见解。

显示使用工作区转换 DCR 中的转换为资源日志收集数据的示意图。

有关工作区转换 DCR 的详细信息以及用于创建 DCR 的演练链接，请参阅工作区转换 DCR。

常见问题解答

本部分提供常见问题的解答。

可在 Azure Monitor 中收集的数据量是否有上限？

可收集的指标数据量没有限制，但数据的存储时间最长为 93 天。 请参阅指标保留期。 可收集的日志数据量没有限制，但你为 Log Analytics 工作区选择的定价层可能会影响限制。 请参阅定价详细信息。

如何访问 Azure Monitor 收集的数据？

见解和解决方案提供了自定义体验，你可以多种方式使用在 Azure Monitor 中存储的数据。 你可通过以 Kusto 查询语言 (KQL) 编写的日志查询直接使用日志数据。 在 Azure 门户中，你可编写和运行查询，并使用 Log Analytics 以交互方式分析数据。 可在 Azure 门户中使用指标资源管理器来分析指标。 请参阅在 Azure Monitor 中分析日志数据。

后续步骤