HDInsight 提供了哪些 Apache Hadoop 组件和版本?What are the Apache Hadoop components and versions available with HDInsight?

了解 Microsoft Azure HDInsight 中的 Apache Hadoop 生态系统组件和版本,以及企业安全性套餐。Learn about the Apache Hadoop ecosystem components and versions in Microsoft Azure HDInsight, as well as the Enterprise Security Package. 另外,还将了解如何检查 HDInsight 中的 Hadoop 组件版本。Also, learn how to check Hadoop component versions in HDInsight.

随不同 HDInsight 版本提供的 Apache Hadoop 组件Apache Hadoop components available with different HDInsight versions

Azure HDInsight 支持多个可随时部署的 Hadoop 群集版本。Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. 从 2017 年 4 月 4 日起,Azure HDInsight 使用的默认群集版本是 3.6。As of April 4, 2017, the default cluster version used by Azure HDInsight is 3.6.

下表中列出了与 HDInsight 群集版本关联的组件版本:The component versions associated with HDInsight cluster versions are listed in the following table:

Note

HDInsight 服务的默认版本可能会更改,不会另行通知。The default version for the HDInsight service might change without notice. 如果依赖某个版本,建议在使用 .NET SDK 以及 Azure PowerShell 和 Azure 经典 CLI 创建群集时指定 HDInsight 版本。If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and Azure Classic CLI.

组件Component HDInsight 4.0HDInsight 4.0 HDInsight 3.6(默认)HDInsight 3.6 (Default)
Apache Hadoop 和 YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0
Apache PigApache Pig 0.16.00.16.0 0.16.00.16.0
Apache HiveApache Hive 3.1.03.1.0 2.1.0、1.2.12.1.0, 1.2.1
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0
Apache HBaseApache HBase 2.0.22.0.2 1.1.21.1.2
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0
Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0
Apache MahoutApache Mahout - 0.9.0+0.9.0+
Apache PhoenixApache Phoenix 55 4.7.04.7.0
Apache SparkApache Spark 2.3.1、2.42.3.1, 2.4 2.3.0、2.2.0、2.1.02.3.0, 2.2.0, 2.1.0
Apache LivyApache Livy 0.50.5 0.4、0.4、0.30.4, 0.4, 0.3
Apache KafkaApache Kafka 1.1.1、2.11.1.1, 2.1 1.1、1.0 *(请参阅下面的“注意”)1.1, 1.0 * (See Note below)
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.30.7.3
MonoMono 4.2.14.2.1 4.2.14.2.1

Note

出于系统性能考量,对 Kafka 版本 0.10 的支持已在 2019 年 3 月过期。Due to system performance considerations, support for Kafka version 0.10 was expired in March 2019.

检查当前的 Hadoop 组件版本信息Check for current Hadoop component version information

与 HDInsight 群集版本关联的 Hadoop 生态系统组件版本可能会随 HDInsight 的更新而更改。The Hadoop ecosystem component versions associated with HDInsight cluster versions can change with updates to HDInsight. 若要检查 Hadoop 组件并验证正在为群集使用哪些版本,请使用 Ambari REST API。To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. GetComponentInformation 命令检索有关服务组件的信息。The GetComponentInformation command retrieves information about service components. 有关详细信息,请参阅 Apache Ambari 文档For details, see the Apache Ambari documentation.

发行说明Release notes

请参阅 HDInsight 发行说明,了解 HDInsight 最新版本的更多发行说明。See HDInsight release notes for additional release notes on the latest versions of HDInsight.

支持的 HDInsight 版本Supported HDInsight versions

支持 HDInsight 版本的到期和停用Support expiration and retirement for HDInsight versions

支持到期意味着 Microsoft 将不再为指定的 HDInsight 版本提供支持,并且该版本将不再可以通过 Azure 门户创建群集。Support expiration means that Microsoft will no longer provide support for the specified HDInsight version and it will no longer be avaiable through the Azure portal for cluster creation. 但是,仍可以使用 Azure CLI 或各种 SDK 来创建这些版本。However, these versions can still be created using the Azure CLI or the various SDKs.

停用 HDInsight 版本意味着现有群集将继续按原样运行。Retirement of an HDInsight version means that existing clusters will continue to run as-is. 但是,不能通过任何方式(包括 CLI 和 SDK)创建此版本的新群集。However, new clusters of this version cannot be created through any means (including CLI and SDKs). 其他控制平面功能(如手动缩放和自动缩放)在版本停用后也可能不起作用。Other control plane features (such as manual scaling and Autoscaling) may also not work after version retirement. 对已停用的版本不提供支持。Support is not available for retired versions.

下表列出了 HDInsight 版本。The following tables list the versions of HDInsight. 还提供了支持到期日期和停用日期(如果已知这些日期)。The support expiration and retirement dates are also provided, when they're known.

可用版本Available versions

下表列出了 Azure 门户中可用的 HDInsight 版本以及其他部署方法(比如 PowerShell 和 .NET SDK)。The following table lists the versions of HDInsight that are available in the Azure Portal as well as other deployment methods like PowerShell and .NET SDK.

HDInsight 版本HDInsight version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户中的可用性Availability in the Azure portal
HDInsight 4.0HDInsight 4.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2018 年 9 月 24 日September 24, 2018 Yes Yes
HDInsight 3.6HDInsight 3.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2017 年 4 月 4 日April 4, 2017 2020 年 12 月 31 日December 31, 2020 2020 年 12 月 31 日December 31, 2020 Yes Yes

Spark 2.1、2.2 和 Kafka 1.0 支持将于 2020 年 6月 30 日到期。Spark 2.1, 2.2 & Kafka 1.0 support will expire on June 30th, 2020.

Note

在对某个版本的支持到期后,不能通过 Microsoft Azure 门户获得该版本。After support for a version has expired, it might not be available through the Microsoft Azure portal. 但是,可继续使用 Windows PowerShell New-AzHDInsightCluster 命令中的 Version 参数和 .NET SDK 获取群集版本,直到版本停用的那天为止。However, cluster versions continue to be available using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

已停用的版本Retired versions

下表列出了 Azure 门户中可用的 HDInsight 版本。The following table lists the versions of HDInsight that are not available in the Azure Portal.

HDInsight 版本HDInsight version HDP 版本HDP version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户上的可用性Availability on the Azure portal
HDInsight 3.5HDInsight 3.5 HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2016 年 9 月 30 日September 30, 2016 2017 年 9 月 5 日September 5, 2017 2018 年 6 月 28 日June 28, 2018 Yes No
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2016 年 3 月 29 日March 29, 2016 2016 年 12 月 29 日December 29, 2016 2018 年 1 月 9 日January 9, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2018 年 7 月 31 日July 31, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2017 年 7 月 31 日July 31, 2017 Yes No
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS 或 Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 2015 年 2 月 18 日February 18, 2015 2016 年 3 月 1 日March 1, 2016 2017 年 4 月 1 日April 1, 2017 Yes No
HDInsight 3.1HDInsight 3.1 HDP 2.1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 2014 年 6 月 24 日June 24, 2014 2015 年 5 月 18 日May 18, 2015 2016 年 6 月 30 日June 30, 2016 Yes No
HDInsight 3.0HDInsight 3.0 HDP 2.0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 2014 年 2 月 11 日February 11, 2014 2014 年 9 月 17 日September 17, 2014 2015 年 6 月 30 日June 30, 2015 Yes No
HDInsight 2.1HDInsight 2.1 HDP 1.3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 2013 年 10 月 28 日October 28, 2013 2014 年 5 月 12 日May 12, 2014 2015 年 5 月 31 日May 31, 2015 Yes No
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 2013 年 10 月 28 日October 28, 2013 2014 年 4 月 26 日April 26, 2014 2015 年 5 月 31 日May 31, 2015 No No

Note

对于 HDInsight 2.1 和更高版本,默认情况下会集部署具有两个头节点的高度可用群集。Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. 它们不适用于 HDInsight 1.6 版本的群集。They are not available for HDInsight version 1.6 clusters.

HDInsight 群集版本的服务级别协议Service level agreement for HDInsight cluster versions

服务级别协议 (SLA) 是按“支持窗口” 定义的。The service level agreement (SLA) is defined in terms of a support window. 支持窗口是 HDInsight 群集版本受 Microsoft 客户服务和支持部门支持的时间段。The support window is the period of time that an HDInsight cluster version is supported by Microsoft Customer Service and Support. 如果版本的“支持到期日期”已过,则 HDInsight 处于支持窗口外。 If the version has a support expiration date that has passed, the HDInsight cluster is outside the support window. 指定的 HDInsight 版本 X 的支持到期日期(在提供更新的 X+1 版本后)为按以下公式计算所得时间的较晚者:The support expiration date for a specified HDInsight version X (after a newer X+1 version is available) is calculated as the later of:

  • 公式 1:发布 HDInsight 群集版本 X 的日期加 180 天。Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • 公式 2:在 Azure 门户中提供 HDInsight 群集版本 X+1 的日期加 90 天。Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in Azure portal.

_停用日期_是指在此后不能在 HDInsight 上创建此群集版本的日期。The retirement date is the date after which the cluster version cannot be created on HDInsight. 从 2017 年 7 月 31 日开始,无法在停用日期后调整 HDInsight 群集的大小。Starting July 31, 2017, you cannot resize an HDInsight cluster after its retirement date.

与 HDInsight 版本相关的 Hortonworks 发行说明Hortonworks release notes associated with HDInsight versions

本部分提供了与 HDInsight 一起使用的 Hortonworks 数据平台分发版和 Apache 组件的发行说明的链接。The section provides links to release notes for the Hortonworks Data Platform distributions and Apache components that are used with HDInsight.

群集的默认节点配置和虚拟机大小Default node configuration and virtual machine sizes for clusters

有关要为群集选择哪些虚拟机 SKU 的详细信息,请参阅 Azure HDInsight 群集配置详细信息For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.

后续步骤Next steps