HDInsight 提供了哪些 Apache Hadoop 组件和版本?What are the Apache Hadoop components and versions available with HDInsight?

了解 Azure HDInsight中的 Apache Hadoop 生态系统组件和版本。Learn about the Apache Hadoop ecosystem components and versions in Microsoft Azure HDInsight. 另外,还将了解如何检查 HDInsight 中的 Hadoop 组件版本。Also, learn how to check Hadoop component versions in HDInsight.

随不同 HDInsight 版本提供的 Apache Hadoop 组件Apache Hadoop components available with different HDInsight versions

Azure HDInsight 支持多个可随时部署的 Hadoop 群集版本。Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. 每个版本选项创建 HDP 分发版的一个特定版本和该分发版内包含的一组组件。Each version choice creates a specific version of the HDP distribution and a set of components that are contained within that distribution. 从 2017 年 4 月 4 日起,Azure HDInsight 使用的默认群集版本是 3.6 并基于 HDP 2.6。As of April 4, 2017, the default cluster version used by Azure HDInsight is 3.6 and is based on HDP 2.6.

下表中列出了与 HDInsight 群集版本关联的组件版本:The component versions associated with HDInsight cluster versions are listed in the following table:

Note

HDInsight 服务的默认版本可能会更改,不会另行通知。The default version for the HDInsight service might change without notice. 如果依赖某个版本,建议在使用 .NET SDK 以及 Azure PowerShell 和 Azure 经典 CLI 创建群集时指定 HDInsight 版本。If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and Azure Classic CLI.

组件Component HDInsight 4.0HDInsight 4.0 HDInsight 3.6(默认)HDInsight 3.6 (Default) HDInsight 3.5HDInsight 3.5 HDInsight 3.4HDInsight 3.4 HDInsight 3.3HDInsight 3.3 HDInsight 3.2HDInsight 3.2
Hortonworks 数据平台Hortonworks Data Platform 3.03.0 2.62.6 2.52.5 2.42.4 2.32.3 2.22.2
Apache Hadoop 和 YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3 2.7.32.7.3 2.7.12.7.1 2.7.12.7.1 2.6.02.6.0
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0 0.7.00.7.0 0.7.00.7.0 0.7.00.7.0 0.5.20.5.2
Apache PigApache Pig 0.16.00.16.0 0.16.00.16.0 0.16.00.16.0 0.15.00.15.0 0.15.00.15.0 0.14.00.14.0
Apache Hive 和 HCatalogApache Hive and HCatalog - 1.2.11.2.1 1.2.11.2.1 1.2.11.2.1 1.2.11.2.1 0.14.00.14.0
Apache HiveApache Hive 3.1.03.1.0 2.1.02.1.0 - - - -
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4 - - - -
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0 0.6.00.6.0 - - -
Apache HBaseApache HBase 2.0.12.0.1 1.1.21.1.2 1.1.21.1.2 1.1.21.1.2 1.1.11.1.1 0.98.40.98.4
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6 1.4.61.4.6 1.4.61.4.6 1.4.61.4.6 1.4.51.4.5
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0 4.2.04.2.0 4.2.04.2.0 4.2.04.2.0 4.1.04.1.0
Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0 1.0.11.0.1 0.10.00.10.0 0.10.00.10.0 0.9.30.9.3
Apache MahoutApache Mahout - 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.00.9.0
Apache PhoenixApache Phoenix 55 4.7.04.7.0 4.7.04.7.0 4.4.04.4.0 4.4.04.4.0 4.2.04.2.0
Apache SparkApache Spark 2.3.1、2.42.3.1, 2.4 2.3.0、2.2.0、2.1.02.3.0, 2.2.0, 2.1.0 1.6.2, 2.01.6.2, 2.0 1.6.01.6.0 1.5.21.5.2 1.3.1(仅限 Windows)1.3.1 (Windows only)
Apache LivyApache Livy 0.50.5 0.4、0.4、0.30.4, 0.4, 0.3 0.30.3 0.30.3 0.20.2 -
Apache KafkaApache Kafka 1.1.1、2.11.1.1, 2.1 1.1、1.0 *(请参阅下面的“注意”)1.1, 1.0 * (See Note below) 0.10.00.10.0 0.9.00.9.0 - -
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0 2.4.02.4.0 2.2.12.2.1 2.1.02.1.0 -
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.00.7.0 - - - -
MonoMono 4.2.14.2.1 4.2.14.2.1 4.2.14.2.1 3.2.83.2.8 - -

Note

出于系统性能考量,对 Kafka 版本 0.10 的支持已在 2019 年 3 月过期。Due to system performance considerations, support for Kafka version 0.10 was expired in March 2019.

检查当前的 Hadoop 组件版本信息Check for current Hadoop component version information

与 HDInsight 群集版本关联的组件版本可能会随 HDInsight 的更新而更改。The Hadoop ecosystem component versions associated with HDInsight cluster versions can change with updates to HDInsight. 若要检查 Hadoop 组件并验证正在为群集使用哪些版本,请使用 Ambari REST API。To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. GetComponentInformation 命令检索有关服务组件的信息。The GetComponentInformation command retrieves information about service components. 有关详细信息,请参阅 Apache Ambari 文档For details, see the Apache Ambari documentation.

发行说明Release notes

请参阅 HDInsight 发行说明,了解 HDInsight 最新版本的更多发行说明。See HDInsight release notes for additional release notes on the latest versions of HDInsight.

支持的 HDInsight 版本Supported HDInsight versions

下表列出了 HDInsight 版本。The following tables list the versions of HDInsight. 其中列出了与每个 HDInsight 版本对应的 HDP 版本以及产品发行日期。The HDP versions that correspond to each HDInsight version are listed along with the product release dates. 还提供了支持到期日期和停用日期(如果已知这些日期)。The support expiration and retirement dates are also provided, when they're known.

可用版本Available versions

下表列出了 Azure 门户中可用的 HDInsight 版本以及其他部署方法(比如 PowerShell 和 .NET SDK)。The following table lists the versions of HDInsight that are available in the Azure Portal as well as other deployment methods like PowerShell and .NET SDK.

HDInsight 版本HDInsight version HDP 版本HDP version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户上的可用性Availability on the Azure portal
HDInsight 4.0HDInsight 4.0 HDP 3.0HDP 3.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2018 年 9 月 24 日September 24, 2018 Yes Yes
HDInsight 3.6HDInsight 3.6 HDP 2.6HDP 2.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2017 年 4 月 4 日April 4, 2017 2020 年 6 月 30 日June 30, 2020 2020 年 12 月 31 日December 31, 2020 Yes Yes

Note

在对某个版本的支持到期后,不能通过 Microsoft Azure 门户获得该版本。After support for a version has expired, it might not be available through the Microsoft Azure portal. 但是,可继续使用 Windows PowerShell New-AzHDInsightCluster 命令中的 Version 参数和 .NET SDK 获取群集版本,直到版本停用的那天为止。However, cluster versions continue to be available using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

已停用的版本Retired versions

下表列出了 Azure 门户中可用的 HDInsight 版本。The following table lists the versions of HDInsight that are not available in the Azure Portal.

HDInsight 版本HDInsight version HDP 版本HDP version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户上的可用性Availability on the Azure portal
HDInsight 3.5HDInsight 3.5
(非 Spark)(Non-Spark)
HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2016 年 9 月 30 日September 30, 2016 2017 年 9 月 5 日September 5, 2017 2018 年 6 月 28 日June 28, 2018 Yes No
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2016 年 3 月 29 日March 29, 2016 2016 年 12 月 29 日December 29, 2016 2018 年 1 月 9 日January 9, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2018 年 7 月 31 日July 31, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2017 年 7 月 31 日July 31, 2017 Yes No
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS 或 Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 2015 年 2 月 18 日February 18, 2015 2016 年 3 月 1 日March 1, 2016 2017 年 4 月 1 日April 1, 2017 Yes No
HDInsight 3.1HDInsight 3.1 HDP 2.1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 2014 年 6 月 24 日June 24, 2014 2015 年 5 月 18 日May 18, 2015 2016 年 6 月 30 日June 30, 2016 Yes No
HDInsight 3.0HDInsight 3.0 HDP 2.0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 2014 年 2 月 11 日February 11, 2014 2014 年 9 月 17 日September 17, 2014 2015 年 6 月 30 日June 30, 2015 Yes No
HDInsight 2.1HDInsight 2.1 HDP 1.3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 2013 年 10 月 28 日October 28, 2013 2014 年 5 月 12 日May 12, 2014 2015 年 5 月 31 日May 31, 2015 Yes No
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 2013 年 10 月 28 日October 28, 2013 2014 年 4 月 26 日April 26, 2014 2015 年 5 月 31 日May 31, 2015 No No

Note

对于 HDInsight 2.1 和更高版本,默认情况下会集部署具有两个头节点的高度可用群集。Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. 它们不适用于 HDInsight 1.6 版本的群集。They are not available for HDInsight version 1.6 clusters.

支持的群集类型Supported cluster types

HDInsight 群集版本的服务级别协议Service level agreement for HDInsight cluster versions

服务级别协议 (SLA) 是按“支持窗口” 定义的。The service level agreement (SLA) is defined in terms of a support window. 支持窗口是 HDInsight 群集版本受 Microsoft 客户服务和支持部门支持的时间段。The support window is the period of time that an HDInsight cluster version is supported by Microsoft Customer Service and Support. 如果版本的“支持到期日期”已过,则 HDInsight 处于支持窗口外。 If the version has a support expiration date that has passed, the HDInsight cluster is outside the support window. 指定的 HDInsight 版本 X 的支持到期日期(在提供更新的 X+1 版本后)为按以下公式计算所得时间的较晚者:The support expiration date for a specified HDInsight version X (after a newer X+1 version is available) is calculated as the later of:

  • 公式 1:发布 HDInsight 群集版本 X 的日期加 180 天。Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • 公式 2:在 Azure 门户中提供 HDInsight 群集版本 X+1 的日期加 90 天。Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in Azure portal.

_停用日期_是指在此后不能在 HDInsight 上创建此群集版本的日期。The retirement date is the date after which the cluster version cannot be created on HDInsight. 从 2017 年 7 月 31 日开始,无法在停用日期后调整 HDInsight 群集的大小。Starting July 31, 2017, you cannot resize an HDInsight cluster after its retirement date.

Note

HDInsight Windows 群集(包括版本 2.1、3.0、3.1, 3.2 和 3.3)在 Azure 来宾 OS 系列版本 4 上运行,该版本使用 64 位版本的 Windows Server 2012 R2。HDInsight Windows clusters (including versions 2.1, 3.0, 3.1, 3.2 and 3.3) run on Azure Guest OS Family version 4, which uses the 64-bit version of Windows Server 2012 R2. Azure 来宾 OS 系列版本 4 支持 .NET Framework 版本 4.0、4.5、4.5.1 和 4.5.2。Azure Guest OS Family version 4 supports the .NET Framework versions 4.0, 4.5, 4.5.1, and 4.5.2.

与 HDInsight 版本相关的 Hortonworks 发行说明Hortonworks release notes associated with HDInsight versions

本部分提供了与 HDInsight 一起使用的 Hortonworks 数据平台分发版和 Apache 组件的发行说明的链接。The section provides links to release notes for the Hortonworks Data Platform distributions and Apache components that are used with HDInsight.

群集的默认节点配置和虚拟机大小Default node configuration and virtual machine sizes for clusters

下表列出了 HDInsight 群集的默认虚拟机 (VM) 大小。The following tables list the default virtual machine (VM) sizes for HDInsight clusters. 此图表是了解在创建 PowerShell 或 Azure CLI 脚本以部署 HDInsight 群集时要使用的 VM 大小所必需的。This chart is necessary to understand the VM sizes to use when you are creating PowerShell or Azure CLI scripts to deploy HDInsight clusters.

Important

如果需要在群集中使用 32 个以上的辅助角色节点,则必须选择至少具有 8 个核心和 14 GB RAM 的头节点大小。If you need more than 32 worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

群集类型Cluster type HadoopHadoop HBaseHBase 交互式查询Interactive Query StormStorm SparkSpark ML ServerML Server KafkaKafka
头:默认 VM 大小Head: default VM size D12 v2D12 v2 D12 v2D12 v2 D13 v2D13 v2 A3A3 D12 v2D12 v2 D12 v2D12 v2 D3v2D3v2
头:建议的 VM 大小Head: recommended VM sizes D3 v2D3 v2 D3 v2D3 v2 D13D13 A4 v2A4 v2 D12 v2D12 v2 D12 v2D12 v2 A2M v2A2M v2
D4 v2D4 v2 D4 v2D4 v2 D14D14 A8 v2A8 v2 D13 v2D13 v2 D13 v2D13 v2 D3 v2D3 v2
D12 v2D12 v2 D12 v2D12 v2 E16 v3E16 v3 A2m v2A2m v2 D14 v2D14 v2 D14 v2D14 v2 D4 v2D4 v2
E4 v3E4 v3 E4 v3E4 v3 E32 v3E32 v3 E4 v3E4 v3 E4 v3E4 v3 E4 v3E4 v3 D12 v2D12 v2
辅助角色:默认 VM 大小Worker: default VM size D4 v2D4 v2 D4 v2D4 v2 D14 v2D14 v2 D3 v2D3 v2 D13 v2D13 v2 D4 v2D4 v2 4 D12v2,每个中转站 2 个 S30 磁盘4 D12v2 with 2 S30 disks per broker
辅助角色:建议的 VM 大小Worker: recommended VM sizes D3 v2D3 v2 D3 v2D3 v2 D13D13 D3 v2D3 v2 D4 v2D4 v2 D4 v2D4 v2 D13 v2D13 v2
D4 v2D4 v2 D4 v2D4 v2 D14D14 D4 v2D4 v2 D12 v2D12 v2 D12 v2D12 v2 DS12 v2DS12 v2
D12 v2D12 v2 D12 v2D12 v2 E16 v3E16 v3 D12 v2D12 v2 D13 v2D13 v2 D13 v2D13 v2 DS13 v2DS13 v2
E4 v3E4 v3 E4 v3E4 v3 E20 v3E20 v3 E4 v3E4 v3 D14 v2D14 v2 D14 v2D14 v2 E4 v3E4 v3
E32 v3E32 v3 E16 v3E16 v3 E16 v3E16 v3 ES4 v3ES4 v3
E64 v3E64 v3 E20 v3E20 v3 E20 v3E20 v3 E8 v3E8 v3
E32 v3E32 v3 E32 v3E32 v3 ES8 v3ES8 v3
E64 v3E64 v3 E64 v3E64 v3
Zookeeper:默认 VM 大小ZooKeeper: default VM size A4 v2A4 v2 A4 v2A4 v2 A4 v2A4 v2 A2 v2A2 v2 D3v2D3v2
Zookeeper:建议的 VM 大小ZooKeeper: recommended VM sizes A4 v2A4 v2 A2 v2A2 v2 A2M v2A2M v2
A8 v2A8 v2 A4 v2A4 v2 D3 v2D3 v2
A2m v2A2m v2 A8 v2A8 v2 E8 v3E8 v3
边缘:默认 VM 大小Edge: default VM size D4 v2D4 v2
边缘:建议的 VM 大小Edge: recommended VM size D4 v2D4 v2
D12 v2D12 v2
D13 v2D13 v2
D14 v2D14 v2
E16 v3E16 v3
E20 v3E20 v3
E32 v3E32 v3
E64 v3E64 v3

Note

  • 头称为 Storm 群集类型的 NimbusHead is known as Nimbus for the Storm cluster type.
  • 对于 Storm 群集类型,辅助角色称为“主管”。 Worker is known as Supervisor for the Storm cluster type.
  • 对于 HBase 群集类型,辅助角色称为“区域”。 Worker is known as Region for the HBase cluster type.

后续步骤Next steps