Azure HDInsight 发行说明

本文提供有关 最新 Azure HDInsight 版本更新的信息。 有关较早版本的信息,请参阅 HDInsight 发行说明存档

摘要

Azure HDInsight 是 Azure 中最受企业客户青睐的开源分析服务之一。

如果要订阅发行说明,请查看此 GitHub 存储库上的版本。

发布日期:2021/03/24

此版本适用于 HDInsight 3.6 和 HDInsight 4.0。 HDInsight 发行版在几天后即会在所有区域中推出。 此处的发行日期是指在第一个区域中的发行日期。 如果看不到以下更改,请耐心等待,几天后发行版会在你所在的区域推出。

新增功能

Spark 3.0 预览版

HDInsight 在 HDInsight 4.0 中添加了 Spark 3.0.0 支持作为预览功能。

Kafka 2.4 预览版

HDInsight 在 HDInsight 4.0 中添加了 Kafka 2.4.1 支持作为预览功能。

迁移到 Azure 虚拟机规模集

HDInsight 目前使用 Azure 虚拟机来预配群集。 此服务正在逐步迁移到 Azure 虚拟机规模集。 整个过程可能需要几个月。 迁移区域和订阅后,新创建的 HDInsight 群集将在虚拟机规模集上运行,而无需客户执行任何操作。 预计不会有中断性变更。

弃用

此版本没有任何弃用功能。

行为更改

默认群集版本更改为 4.0

HDInsight 群集的默认版本从 3.6 更改为 4.0。 有关可用版本的详细信息,请参阅可用版本。 详细了解 HDInsight 4.0 中的新增功能。

默认的群集 VM 大小更改为 Ev3 系列

默认的群集 VM 大小从 D 系列更改为 Ev3 系列。 此更改适用于头节点和工作器节点。 为避免此更改影响你已测试的工作流,请在 ARM 模板中指定要使用的 VM 大小。

对于在 Azure 虚拟机规模集上运行的群集,网络接口资源不可见

HDInsight 正在逐步迁移到 Azure 虚拟机规模集。 对于使用 Azure 虚拟机规模集的群集的客户,虚拟机的网络接口不再可见。

即将推出的更改

即将发布的版本中将推出以下变更。

HDInsight Interactive Query 仅支持基于计划的自动缩放

随着客户方案越来越成熟和多样化,我们发现,使用基于负载的自动缩放 Interactive Query (LLAP) 存在一些限制。 存在这些限制的原因可能是 LLAP 查询动态的性质、未来的负载预测准确性问题以及 LLAP 计划程序任务重新分发中的问题。 由于这些限制,启用自动缩放后,用户可能会看到其查询在 LLAP 群集上的运行速度变慢。 对性能的影响可能会超过自动缩放的成本优势。

从 2021 年 7 月开始,HDInsight 中的 Interactive Query 工作负载仅支持基于计划的自动缩放。 无法再在新的 Interactive Query 群集上启用自动缩放。 现有正在运行的群集可以继续运行,但存在上述已知限制。

Microsoft 建议你改用基于计划的自动缩放以使用 LLAP。 可以通过 Grafana Hive 仪表板分析群集的当前使用模式。 有关详细信息,请参阅自动缩放 Azure HDInsight 群集

OS 版本升级

HDInsight 群集当前在 Ubuntu 16.04 LTS 上运行。 像 Ubuntu 发布周期中提及的那样,Ubuntu 16.04 内核将在 2021 年 4 月生命周期结束 (EOL)。 我们将于 2021 年 5 月开始推出在 Ubuntu 18.04 上运行的新 HDInsight 4.0 群集映像。 新创建的 HDInsight 4.0 群集将在可用时在 Ubuntu 18.04 上运行。 Ubuntu 16.04 上的现有群集将按原样运行,并受到完全支持。

HDInsight 3.6 将继续在 Ubuntu 16.04 上运行。 它将在 2021 年 6 月 30 日结束标准支持,并从 2021 年 7 月 1 日起改为标准支持。 有关日期和支持选项的详细信息,请参阅 Azure HDInsight 版本。 HDInsight 3.6 不支持 Ubuntu 18.04。 若要使用 Ubuntu 18.04,需要将群集迁移到 HDInsight 4.0。

若要将现有群集移动到 Ubuntu 18.04,需要删除并重新创建群集。 请计划在 Ubuntu 18.04 支持可用后创建或重新创建群集。 新映像在所有区域都可用后,我们将发送另一个通知。

强烈建议提前在 Ubuntu 18.04 虚拟机 (VM) 上测试部署在边缘节点上的脚本操作和应用程序。 可以在 18.04-LTS 上创建简单的 Ubuntu Linux VM,然后在 VM 上创建并使用安全外壳 (SSH) 密钥对来运行和测试部署在边缘节点上的脚本操作和自定义应用程序。

对于 HDInsgiht 4.0,禁用 Stardard_A5 VM 大小作为头节点

HDInsight 群集头节点负责初始化和管理群集。 对于 HDInsight 4.0,Standard_A5 VM 大小作为头节点存在可靠性问题。 从 2021 年 5 月的下一版本开始,客户将无法创建使用 Standard_A5 VM 大小作为头节点的新群集。 可以使用其他双核 VM,例如 E2_v3 或 E2s_v3。 现有群集将照常运行。 强烈建议使用 4 核 VM 作为头节点,以确保生产 HDInsight 群集的高可用性和可靠性。

从 2021 年 7 月 1 日开始为 HDInsight 3.6 提供基本支持

从 2021 年 7 月 1 日开始,Microsoft 将为某些 HDInsight 3.6 群集类型提供基本支持。 基本支持计划的可用日期截至 2022 年 4 月 3 日。 从 2021 年 7 月 1 日开始,你将被自动加人基本支持。 无需执行任何操作即可选择加入。 请参阅文档了解基本支持中包含哪些群集类型。

不建议在 HDInsight 3.6 上构建任何新的解决方案,因为将在现有的 3.6 环境上冻结更改。 建议将群集迁移到 HDInsight 4.0。 详细了解 HDInsight 4.0 中的新增功能

Bug 修复

HDInsight 会持续改善群集的可靠性和性能。

组件版本更改

添加了 Spark 3.0.0 和 Kafka 2.4.1 支持作为预览功能。 可以在此文档中查找 HDInsight 4.0 和 HDInsight 3.6 的当前组件版本。

推荐的功能

服务标记

服务标记可简化对 Azure 虚拟机和 Azure 虚拟网络的 Azure 服务的网络访问限制。 网络安全组 (NSG) 中的服务标记规则可允许或拒绝特定 Azure 服务流量。 可全局或按 Azure 区域设置此规则。 Azure 会对每个标记下面的 IP 地址进行维护。 网络安全组 (NSG) 的 HDInsight 服务标记是运行状况和管理服务的 IP 地址组。 这些组有助于尽量降低创建安全规则时的复杂性。 HDInsight 客户可通过 Azure 门户、PowerShell 和 REST API 启用服务标记。 有关详细信息,请参阅 Azure HDInsight 的网络安全组 (NSG) 服务标记