HDInsight 提供了哪些 Hadoop 组件和版本?

了解 Azure HDInsight 中的 Apache Hadoop 生态系统组件和版本。 另外,还将了解如何检查 HDInsight 中的 Hadoop 组件版本。

Note

在 Azure 中国区,HDInsight Linux 仅支持 3.5 或更高版本。 在 Azure 中国区无法创建 HDInsight Linux 3.2、3.3 和 3.4。 但是,可以通过 HDInsight 模拟器使用这些版本。

每个 HDInsight 版本都是某个版本的 Hortonworks 数据平台 (HDP) 的云分发版。

可与不同 HDInsight 版本使用的 Hadoop 组件

Azure HDInsight 支持多个可随时部署的 Hadoop 群集版本。 每个版本选项创建 HDP 分发版的一个特定版本和该分发版内包含的一组组件。 从 2017 年 4 月 4 日起,Azure HDInsight 使用的默认群集版本是 3.6 并基于 HDP 2.6。

下表中列出了与 HDInsight 群集版本关联的组件版本:

Note

HDInsight 服务的默认版本可能会更改,不会另行通知。 如果依赖某个版本,建议在使用 .NET SDK 以及 Azure PowerShell 和 Azure CLI 创建群集时指定 HDInsight 版本。

组件 HDInsight 3.6(默认) HDInsight 3.5 HDInsight 3.4 HDInsight 3.3 HDInsight 3.2 HDInsight 3.1 HDInsight 3.0
Hortonworks 数据平台 2.6 2.5 2.4 2.3 2.2 2.1.7 2.0
Apache Hadoop 和 YARN 2.7.3 2.7.3 2.7.1 2.7.1 2.6.0 2.4.0 2.2.0
Apache Tez 0.7.0 0.7.0 0.7.0 0.7.0 0.5.2 0.4.0 -
Apache Pig 0.16.0 0.16.0 0.15.0 0.15.0 0.14.0 0.12.1 0.12.0
Apache Hive 和 HCatalog 1.2.1 1.2.1 1.2.1 1.2.1 0.14.0 0.13.1 0.12.0
Apache Hive2 2.1.0 - - - - - -
Apache Tez Hive2 0.8.4 - - - - - -
Apache Ranger 0.7.0 0.6.0 - - - - -
Apache HBase 1.1.2 1.1.2 1.1.2 1.1.1 0.98.4 0.98.0 -
Apache Sqoop 1.4.6 1.4.6 1.4.6 1.4.6 1.4.5 1.4.4 1.4.4
Apache Oozie 4.2.0 4.2.0 4.2.0 4.2.0 4.1.0 4.0.0 4.0.0
Apache Zookeeper 3.4.6 3.4.6 3.4.6 3.4.6 3.4.6 3.4.5 3.4.5
Apache Storm 1.1.0 1.0.1 0.10.0 0.10.0 0.9.3 0.9.1 -
Apache Mahout 0.9.0+ 0.9.0+ 0.9.0+ 0.9.0+ 0.9.0 0.9.0 -
Apache Phoenix 4.7.0 4.7.0 4.4.0 4.4.0 4.2.0 4.0.0.2.1.7.0-2162 -
Apache Spark 2.3.0、2.2.0、2.1.0 1.6.2, 2.0 1.6.0 1.5.2 1.3.1(仅限 Windows) - -
Apache Livy 0.4 0.3 0.3 0.2 - - -
Apache Kafka 1.1, 1.0, 0.10.1 0.10.0 0.9.0 - - - -
Apache Ambari 2.6.0 2.4.0 2.2.1 2.1.0 - - -
Apache Zeppelin 0.7.0 - - - - - -
Mono 4.2.1 4.2.1 3.2.8 - - -
Apache 滑块 0.92.0 - - - - - -

检查当前的 Hadoop 组件版本信息

与 HDInsight 群集版本关联的组件版本可能会随 HDInsight 的更新而更改。 若要检查 Hadoop 组件并验证正在为群集使用哪些版本,请使用 Ambari REST API。 GetComponentInformation 命令检索有关服务组件的信息。 有关详细信息,请参阅 Ambari 文档

对于 Windows 群集,检查组件版本的另一种方法是使用远程桌面登录到群集并检查 C:\apps\dist\ 目录的内容。

Important

Linux 是 HDInsight 3.4 或更高版本上使用的唯一操作系统。 有关详细信息,请参阅 HDInsight 上的 Windows 停用

发行说明

请参阅 HDInsight 发行说明,了解 HDInsight 最新版本的更多发行说明。

支持的 HDInsight 版本

下表列出了 HDInsight 版本。 其中列出了与每个 HDInsight 版本对应的 HDP 版本以及产品发行日期。 还提供了支持到期日期和停用日期(如果已知这些日期)。

可用版本

下表列出了 Azure 门户中可用的 HDInsight 版本以及其他部署方法(比如 PowerShell 和 .NET SDK)。

HDInsight 版本 HDP 版本 VM OS 发行日期 支持到期日期 停用日期 高可用性 在 Azure 门户上的可用性
HDInsight 3.6 HDP 2.6 Ubuntu 16.0.4 LTS 2017 年 4 月 4 日

Note

在对某个版本的支持到期后,不能通过 Azure 门户获得该版本。 但是,可继续使用 Windows PowerShell New-AzureRmHDInsightCluster 命令中的 Version 参数和 .NET SDK 获取群集版本,直到版本停用的那天为止。

已停用的版本

下表列出了 Azure 门户中可用的 HDInsight 版本。

HDInsight 版本 HDP 版本 VM OS 发行日期 支持到期日期 停用日期 高可用性 在 Azure 门户上的可用性
HDInsight 3.5 HDP 2.5 Ubuntu 16.0.4 LTS 2016 年 9 月 30 日 2017 年 9 月 5 日 2018 年 6 月 28 日
HDInsight 3.4 HDP 2.4 Ubuntu 14.0.4 LTS 2016 年 3 月 29 日 2016 年 12 月 29 日 2018 年 1 月 9 日
HDInsight 3.3 HDP 2.3 Windows Server 2012 R2 2015 年 12 月 2 日 2016 年 6 月 27 日 2018 年 7 月 31 日
HDInsight 3.3 HDP 2.3 Ubuntu 14.0.4 LTS 2015 年 12 月 2 日 2016 年 6 月 27 日 2017 年 7 月 31 日
HDInsight 3.2 HDP 2.2 Ubuntu 12.04 LTS 或 Windows Server 2012 R2 2015 年 2 月 18 日 2016 年 3 月 1 日 2017 年 4 月 1 日
HDInsight 3.1 HDP 2.1 Windows Server 2012 R2 2014 年 6 月 24 日 2015 年 5 月 18 日 2016 年 6 月 30 日
HDInsight 3.0 HDP 2.0 Windows Server 2012 R2 2014 年 2 月 11 日 2014 年 9 月 17 日 2015 年 6 月 30 日
HDInsight 2.1 HDP 1.3 Windows Server 2012 R2 2013 年 10 月 28 日 2014 年 5 月 12 日 2015 年 5 月 31 日
HDInsight 1.6 HDP 1.1 2013 年 10 月 28 日 2014 年 4 月 26 日 2015 年 5 月 31 日

Note

对于 HDInsight 2.1 和更高版本,默认情况下会集部署具有两个头节点的高度可用群集。 它们不适用于 HDInsight 1.6 版本的群集。

HDInsight Windows 停用

Azure HDInsight 版本 3.3 是适用于 Windows 的最后一个 HDInsight 版本。 Windows 上的 HDInsight 的停用日期是 2018 年 7 月 31 日。 如果在 Windows 上具有 HDInsight 3.3 或更低版本的群集,则必须在 2018 年 7 月 31 日之前迁移到 Linux 上的 HDInsight(HDInsight 版本 3.5 或更高版本)。 迁移到 Linux OS 后,仍然能够创建 HDInsight 群集或调整其大小。 对 Windows 上的 HDInsight 版本 3.3 的支持已于 2016 年 6 月 27 日到期。

从 HDInsight 版本 3.4 开始,Microsoft 仅在 Linux OS 上发行了 HDInsight。 因此,HDInsight 中的某些组件仅可供 Linux 使用。 这些组件包括 Apache Ranger、Kafka、交互式查询、Spark 以及作为主文件系统的 HDInsight 应用程序。 HDInsight 的将来版本仅在 Linux OS 上可用。 Windows 上的 HDInsight 将不会有任何将来版本。

常见问题

停用 Windows 上的 HDInsight 的日程表是怎样的?

Windows 上的 HDInsight 的停用日期是 2018 年 7 月 31 日。 如果针对你的区域计划的停用日期不同,你会单独收到通知。

停用 Windows 上的 HDInsight 对现有客户有何影响?

在 Windows 上的 HDInsight 停用后,将无法创建新的 HDInsight Windows 群集,也无法调整现有 HDInsight Windows 群集的大小。 对 HDInsight 版本 3.3 的支持已于 2016 年 6 月 27 日到期。 因此,不会再为 HDInsight 3.3 或更低版本提供支持或 bug 修复。 HDInsight 的将来版本仅在 Linux OS 上可用。 Windows 上的 HDInsight 将不会有任何将来版本。

Windows 上的哪些 HDInsight 版本会受影响?

Azure HDInsight 版本 3.3 是适用于 Windows 的最后 HDInsight 版本。 在 Windows 上的 HDInsight 停用之前,必须将所有 HDInsight Windows 3.3 或更低版本的群集迁移到 Linux 上的 HDInsight 版本 3.5 或更高版本。 将群集迁移到 Linux 上的 HDInsight 后,将仍然能够创建新群集或调整现有群集的大小。

我需要做些什么?

在 2018 年 7 月 31 日之前,将你的 HDInsight Windows 群集迁移到受支持的 HDInsight Linux 群集。 可以在 HDInsight 迁移文档中了解详细信息。 有关 Azure HDInsight 版本的详细信息,请参阅支持的版本列表。

可以在哪里找到群集 OS 类型?

在 Azure 门户中,转到 HDInsight 群集概述页,然后在“概要”下找到“群集类型”。 该页上列出了群集 OS 类型。

无法在 2018 年 7 月 31 日之前迁移到 HDInsight Linux 群集。 这对我的 HDInsight Windows 群集有何影响?

HDInsight Windows 群集将按现样运行,但是你将无法创建新的 HDInsight Windows 群集,也无法调整现有 HDInsight Windows 群集的大小。

我的群集具有 .NET 依赖项。 在 Linux 上如何解决此依赖关系?

可以使用 Mono 项目解决 Linux 群集依赖关系。 .NET 的此开源实现可用于 HDInsight Linux 群集。 可以在 HDInsight 迁移文档中了解详细信息。

我是 Windows 上的 HDInsight 的新客户。 如何创建 HDInsight Windows 群集?

从 2017 年 7 月 3 日起,只有现有 HDInsight Windows 客户可以创建新的 HDInsight Windows 群集。 新客户无法使用 PowerShell 或 SDK 在 Azure 门户中创建 HDInsight Windows 群集。 我们建议新客户创建 Linux HDInsight 群集。 现有客户仍然可以创建新的 HDInsight Windows 群集,直到 Windows 上的 HDInsight 停用的那一天。

从 Windows 上的 HDInsight 迁移到 Linux 上的 HDInsight 是否会有相关的定价影响?

没有,两种 OS 上的 HDInsight 的定价是相同的。

迁移后仅使用 Linux 上的 HDInsight 对客户有什么好处?

  • 可以通过 HDInsight 服务加快开源大数据技术的上市时间
  • 获得大型社区和生态系统的支持
  • 能够利用 Hadoop 和其他大数据技术的开源社区练习主动开发

Linux 上的 HDInsight 是否比 Windows 上的 HDInsight 提供了更多的功能?

从 HDInsight 版本 3.4 开始,Microsoft 只会在 Linux OS 上发布 HDInsight。 因此,HDInsight 中的某些组件仅可供 Linux 使用。 这些组件包括 Apache Ranger、Kafka、交互式查询、Spark 以及作为主文件系统的 HDInsight 应用程序。

HDInsight 群集版本的服务级别协议

服务级别协议 (SLA) 是按“支持窗口”定义的。 支持窗口是 HDInsight 群集版本受 Microsoft 客户服务和支持部门支持的时间段。 如果版本的“支持到期日期”已过,则 HDInsight 处于支持窗口外。 有关支持的版本的详细信息,请参阅支持的 HDInsight 群集版本列表。 指定的 HDInsight 版本 X 的支持到期日期(在提供更新的 X+1 版本后)为按以下公式计算所得时间的较晚者:

  • 公式 1:发布 HDInsight 群集版本 X 的日期加 180 天。
  • 公式 2:在 Azure 门户中提供 HDInsight 群集版本 X+1 的日期加 90 天。

“停用日期”是指在此后不能在 HDInsight 上创建此群集版本的日期。 从 2017 年 7 月 31 日开始,无法在停用日期后调整 HDInsight 群集的大小。

Note

HDInsight Windows 群集(包括版本 2.1、3.0、3.1, 3.2 和 3.3)在 Azure 来宾 OS 系列版本 4 上运行,该版本使用 64 位版本的 Windows Server 2012 R2。 Azure 来宾 OS 系列版本 4 支持 .NET Framework 版本 4.0、4.5、4.5.1 和 4.5.2。

与 HDInsight 版本相关的 Hortonworks 发行说明

本部分提供了与 HDInsight 一起使用的 Hortonworks 数据平台分发版和 Apache 组件的发行说明的链接。

群集的默认节点配置和虚拟机大小

下表列出了 HDInsight 群集的默认虚拟机 (VM) 大小。

Important

如果需要在群集中使用 32 个以上的辅助角色节点,则必须选择至少具有 8 个核心和 14 GB RAM 的头节点大小。

群集类型 Hadoop HBase interactive query Storm Spark
头:默认 VM 大小 D3 v2 D3 v2 D13、D14 A4 v2 D12 v2
头:建议的 VM 大小 D3 v2、D4 v2、D12 v2 D3 v2、D4 v2、D12 v2 D13、D14 A4 v2、A8 v2、A2m v2 D12 v2、D13 v2、D14 v2
辅助角色:默认 VM 大小 D3 v2 D3 v2 D13、D14 D3 v2 Windows:D12 v2;Linux:D4 v2
辅助角色:建议的 VM 大小 D3 v2、D4 v2、D12 v2 D3 v2、D4 v2、D12 v2 D13、D14 D3 v2、D4 v2、D12 v2 Windows:D12 v2、D13 v2、D14 v2;Linux:D4 v2、D12 v2、D13 v2、D14 v2
Zookeeper:默认 VM 大小 A4 v2 A2 v2
Zookeeper:建议的 VM 大小 A4 v2、A8 v2、A2m v2 A2 v2、A4 v2、A8 v2
边缘:默认 VM 大小
边缘:建议的 VM 大小

Note

  • 头称为 Storm 群集类型的 Nimbus
  • 对于 Storm 群集类型,辅助角色称为“主管”。
  • 对于 HBase 群集类型,辅助角色称为“区域”。

后续步骤