适用于 Azure HDInsight 群集的 Log Analytics 迁移指南

  • 项目

Azure HDInsight 是一种面向企业的托管群集服务。 此服务在 Azure 上运行开放源代码分析框架，如 Apache Spark、Hadoop、HBase 和 Kafka。 Azure HDInsight 已与其他 Azure 服务集成，使客户可以更好地管理其大数据分析应用程序。

Log Analytics 在 Azure 门户中提供了一个工具，用于编辑和运行日志查询。 查询来自 Azure Monitor 日志收集的数据，以交互方式分析其结果。 客户可以使用 Log Analytics 查询检索符合特定条件的记录。 他们还可以使用查询识别趋势、分析模式以及提供对数据的见解。

Azure HDInsight 在 2017 年实现了与 Log Analytics 的集成。 HDInsight 客户很快便采用此功能来监视其 HDInsight 群集并在群集中查询日志。 尽管此功能的采用已增加，不过客户提供了有关集成的反馈：

  • 客户无法确定要存储的日志，而存储所有日志可能会成本高昂。
  • 当前 HDInsight 架构日志未遵循一致的命名约定，某些表是重复的。
  • 客户希望使用现成的仪表板轻松监视 HDInsight 群集的 KPI。
  • 客户必须跳到 Log Analytics 才能运行简单查询。

解决方案概述

考虑到客户反馈，Azure HDInsight 团队投入开发了与 Azure Monitor 的集成。 此集成实现了：

  • 客户 Log Analytics 工作区中的一组新表。 新表通过新 Log Analytics 管道提供。
  • 更高的可靠性
  • 更快的日志传送
  • 基于资源的表分组和默认查询

注意

新的 Azure Monitor 集成在所有提供 HDInsight 的区域都处于公共预览阶段。

新 Azure Monitor 集成的优点

本文档概述了对 Azure Monitor 集成的更改，并提供了有关使用新表的最佳做法。

重新设计的架构：新 Azure Monitor 集成的架构格式进行了更好的组织，并且易于理解。 减少了三分之二的架构，以尽可能消除旧架构中的多义性。

选择性日志记录：Log Analytics 提供了一些日志和指标。 为了帮助节省监视成本，我们将发布新的选择性日志记录功能。 使用此功能可打开和关闭不同的日志和指标源。 借助此功能，你只需为使用的内容付费。

日志群集门户集成：“日志”窗格是 HDInsight 群集门户的新功能。 有权访问群集的任何人都可以访问此窗格，以查询群集资源向其发送记录的任何表。 用户无需再访问 Log Analytics 工作区即可查看特定群集资源的记录。

见解群集门户集成：“见解”窗格也是 HDInsight 群集门户的新功能。 启用新 Azure Monitor 集成后，可以选择“见解”窗格，系统会自动为你填充特定于群集类型的现成日志和指标仪表板。 这些仪表板已相对于以前的 Azure 解决方案进行了改进。 它们可让你深入了解群集的性能和运行状况。

客户场景

以下部分介绍客户如何在不同场景中使用新 Azure Monitor 集成。 激活新 Azure Monitor 集成部分概述了如何激活和使用新 Azure Monitor 集成。 从 Azure Monitor 经典迁移到新 Azure Monitor 集成部分包含了面向依赖于旧 Azure Monitor 集成的用户的其他信息。

注意

只有在 2020 年 9 月下旬及之后创建的集群才有资格使用新 Azure Monitor 集成。

激活新 Azure Monitor 集成

注意

启用新集成之前，你必须在有权访问的订阅中创建 Log Analytics 工作区。 有关如何创建 Log Analytics 工作区的详细信息，请参阅在 Azure 门户中创建 Log Analytics 工作区。

转到群集的门户页面并向下滚动左侧菜单，直到达到“监视”部分，以激活新集成。 在“监视”部分中，选择“监视集成” 。 然后，选择“启用”，可以选择要将日志发送到的 Log Analytics 工作区。 选择了工作区后，选择“保存”。

查询新表

可以通过两种方式访问新表。

方法 1：

访问新表的第一种方式是通过 Log Analytics 工作区。

  1. 转到在启用集成时选择的 Log Analytics 工作区。
  2. 在屏幕左侧的菜单中向下滚动，然后选择“日志”。 日志查询编辑器会弹出，其中包含工作区中所有表的列表。
  3. 如果表按“解决方案”进行分组，则新 HDI 表位于“日志管理”部分下 。
  4. 如果按“资源类型”对表进行分组，则表位于“HDInsight 群集”部分下，如下图所示 。

注意

此过程描述如何在旧集成中访问日志。 这要求用户有权访问工作区。

方法 2：

访问新表的第二种方式是通过群集门户访问。

  1. 导航到群集的门户页面，向下滚动左侧菜单，直到看到“监视”部分。 在此部分中，你会看到“日志”窗格。
  2. 选择“日志”，日志查询编辑器随即出现。 该编辑器包含与群集资源关联的所有日志。 启用集成后，会将日志发送到 Log Analytics 工作区。 这些日志提供基于资源的访问 (RBAC)。 借助 RBAC，有权访问群集但不能访问工作区的用户可以查看与群集关联的日志。

为进行比较，以下屏幕截图显示了旧集成工作区视图和新集成工作区视图：

旧集成工作区视图

显示旧集成工作区视图的屏幕截图。

新集成工作区视图

显示新集成工作区视图的屏幕截图。

使用新表

这些集成可帮助你使用新表：

用于新表的默认查询

在日志查询编辑器中，在表列表上方将开关设置为“查询”。 请确保按“资源类型”对查询进行分组，并且没有为“HDInsight 群集”以外的资源类型设置筛选器 。 下图显示了按“资源类型”进行分组并针对“HDInsight 群集”进行筛选时结果的显示方式 。 只选择一个查询，它会出现在日志查询编辑器中。 请务必阅读查询中包含的注释，因为某些查询要求输入一些信息（如群集名称）才能成功运行查询。

显示按资源类型进行分组的默认查询结果的屏幕截图。

创建自己的查询

可以在日志查询编辑器中输入自己的查询。 对旧表使用的查询会对新表无效，因为许多新表具有新的优化架构。 默认查询是有关对新表塑造查询的良好参考。

洞察力

见解是使用 Azure 工作簿创建的特定于群集的可视化效果仪表板。 这些仪表板可提供有关群集运行情况的详细图和可视化效果。 仪表板包含用于每种群集类型、YARN、系统指标和组件日志的部分。 可以在门户中访问群集页面，向下滚动到“监视”部分，然后选择“见解”窗格，从而访问群集的仪表板 。 如果已启用新集成，则仪表板会自动加载。 在查询日志时，留出几秒钟让图加载。

显示可视化效果仪表板的屏幕截图。

自定义 Azure 工作簿

可以创建自己的 Azure 工作簿，其中包含自定义图和可视化效果。 在群集的门户页面中，向下滚动到“监视”部分，然后在左侧菜单中选择“工作簿”窗格 。 可以开始使用空白模板，也可以使用“HDInsight 群集”部分下的模板之一。 每种群集类型都有一个模板。 如果要保存默认 HDInsight 见解未提供的特定自定义项，则模板非常有用。 如果觉得 HDInsight 见解缺少某些内容，请随时在其中发送针对新功能的请求。

警报

可以在日志查询编辑器中向群集和工作区添加自定义警报。 通过从群集或工作区门户选择“日志”窗格，转到日志查询编辑器。 运行查询，然后选择“新建警报规则”，如以下屏幕截图所示。 有关详细信息，请参阅配置警报。

显示新建警报规则的屏幕截图。

迁移到新 Azure Monitor 集成

如果在使用经典 Azure Monitor 集成，则在切换到新 Azure Monitor 集成后，需要对新的表格式进行一些调整。

若要启用新 Azure Monitor 集成，请按照激活新 Azure Monitor 集成部分中概述的步骤进行操作。

在 Log Analytics 中运行查询

由于新的表格式与迁移的格式不同，因此查询需要进行改编，以便可以使用我们的新表。 启用新 Azure Monitor 集成后，可以浏览表和架构，以确定旧查询中使用的字段。

我们在旧表与新表之间提供了一个映射表，以帮助快速查找需要用于迁移仪表板和查询的新字段。

默认查询：我们创建了演示如何在常见情况下使用新表的默认查询。 默认查询还显示每个表中提供的信息。 可以按照本文用于新表的默认查询部分中的说明访问默认查询。

为 HDInsight 群集更新仪表板

如果生成了多个仪表板来监视 HDInsight 群集，则在启用新 Azure Monitor 集成后，需要调整表幕后的查询。 表名或字段名称可能会在新集成中发生更改，但包含在旧集成中的所有信息都会包含在内。

请参阅旧表/架构与新表/架构之间的映射表，来更新仪表板幕后的查询。

现成仪表板

我们还改进了群集级别的现成仪表板。 每个图右上方都有一个按钮，可用于查看生成信息的基础查询。 图是一种很好的方法，可让你熟悉如何有效地查询新表。

同时启用两种集成以加速迁移

可以在有资格实现两种集成的群集上同时激活经典和新 Azure Monitor 集成，以便快速迁移到新 Azure Monitor 集成。 新集成适用于 2020 年 9 月中旬之后创建的所有群集。

通过这种方式，可以轻松地对所使用的查询进行并排比较。

启用经典集成

如果在使用 2020 年 9 月中旬之后创建的群集，则会在群集的门户中看到新门户体验。 若要启用新管道，可以按照激活新 Azure Monitor 集成部分中概述的步骤进行操作。 若要对此群集激活经典集成，请转到群集的门户页面。 在群集门户页面左侧菜单的“监视”部分中，选择“监视集成”窗格 。 选择“为 HDInsight 群集集成配置 Azure Monitor (经典)”。 一个侧边上下文随即出现，其中包含可用于启用和禁用经典 Azure 监视集成的开关。

注意

通过群集门户的日志和见解页面，不会看到来自经典集成的任何日志或指标。 只有新集成日志和指标才会出现在这些位置。

显示用于访问经典集成的链接的屏幕截图。

2023 年 1 月 1 日之后，将无法使用经典 Azure Monitor 集成创建新群集。

发布和支持时间线

  • 经典 Azure Monitor 集成会在 2021 年 10 月 15 日后不可用。 无法在该日期后启用经典 Azure Monitor 集成。
  • 现有经典 Azure Monitor 集成将继续正常工作。 对于经典 Azure Monitor 集成，将提供有限的支持。
    • 客户提交支持票证后，将调查问题。
    • 如果解决方案需要更改映像，客户应迁移到新集成。
    • 除了严重安全性问题之外，我们不会修补经典 Azure Monitor 集成群集。

附录：表映射

有关从经典 Azure Monitor 集成到新集成的日志表映射，请参阅日志表映射。