适用于 Azure HDInsight 的 Apache 组件和版本Apache components and versions available for Azure HDInsight

本文介绍了 Azure HDInsight 中的 Apache Hadoop 环境组件和版本,以及企业安全性套餐。In this article, you learn about the Apache Hadoop environment components and versions in Azure HDInsight and the Enterprise Security Package. 另外,它还介绍了如何检查 HDInsight 中的 Hadoop 组件版本。You also learn how to check the Hadoop component versions in HDInsight.

随不同 HDInsight 版本提供的 Apache 组件Apache components available with different HDInsight versions

Azure HDInsight 支持多个可随时部署的 Hadoop 群集版本。Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. 从 2017 年 4 月 4 日起,Azure HDInsight 使用的默认群集版本是 3.6。On April 4, 2017, the default cluster version used by Azure HDInsight was 3.6.

下表中列出了与 HDInsight 群集版本关联的组件版本。The component versions associated with HDInsight cluster versions are listed in the following table.

备注

HDInsight 服务的默认版本可能会更改,不会另行通知。The default version for the HDInsight service might change without notice. 如果你依赖某个版本,请在使用 .NET SDK 以及 Azure PowerShell 和 Azure 经典 CLI 创建群集时指定 HDInsight 版本。If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and the Azure classic CLI.

组件Component HDInsight 4.0HDInsight 4.0 HDInsight 3.6(默认)HDInsight 3.6 (Default)
Apache Hadoop 和 YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0
Apache PigApache Pig 0.16.00.16.0 0.16.00.16.0
Apache HiveApache Hive 3.1.03.1.0 1.2.11.2.1
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0
Apache HBaseApache HBase 2.1.62.1.6 1.1.21.1.2
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0
Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0
Apache MahoutApache Mahout - 0.9.0+0.9.0+
Apache PhoenixApache Phoenix 55 4.7.04.7.0
Apache SparkApache Spark 2.4.42.4.4 2.3.2.2.3.2.
Apache LivyApache Livy 0.50.5 0.4.0.4.
Apache KafkaApache Kafka 2.1.12.1.1 1.11.1
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.30.7.3
MonoMono 4.2.14.2.1 4.2.14.2.1

备注

HDInsight 4.0:完全支持 Spark 2.4 和 Kafka 2.1。HDInsight 4.0: Spark 2.4 and Kafka 2.1 are fully supported. 但是,不再为 Spark 2.3 和 Kafka 1.1 群集类型提供服务。However, Spark 2.3 and Kafka 1.1 cluster types are not serviced. HDInsight 3.6:完全支持 Spark 2.3 和 Kafka 1.1。HDInsight 3.6: Spark 2.3 and Kafka 1.1 are fully supported.

检查当前的 Apache 组件版本信息Check for current Apache component version information

与 HDInsight 群集版本关联的 Hadoop 环境组件版本可能会随 HDInsight 的更新而更改。The Hadoop environment component versions associated with HDInsight cluster versions can change with updates to HDInsight. 若要检查 Hadoop 组件并验证正在为群集使用哪些版本,请使用 Ambari REST API。To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. GetComponentInformation 命令检索有关服务组件的信息。The GetComponentInformation command retrieves information about service components. 有关详细信息,请参阅 Apache Ambari 文档For more information, see the Apache Ambari documentation.

发行说明Release notes

有关 HDInsight 最新版本的更多发行说明,请参阅 HDInsight 发行说明For additional release notes on the latest versions of HDInsight, see HDInsight release notes.

支持的 HDInsight 版本Supported HDInsight versions

HDInsight 版本的支持到期和停用Support expiration and retirement for HDInsight versions

支持到期意味着 Microsoft 不再为特定的 HDInsight 版本提供支持,Support expiration means that Microsoft no longer provides support for the specific HDInsight version. 并且不再可以通过 Azure 门户使用该版本创建群集。And it's no longer available through the Azure portal for cluster creation. 仍可以使用 Azure CLI 或各种 SDK 创建这些版本。These versions can still be created by using the Azure CLI or the various SDKs.

停用意味着 HDInsight 版本的现有群集将继续按现样运行。Retirement means that existing clusters of an HDInsight version continue to run as is. 不能通过任何方式(包括 CLI 和 SDK)创建此版本的新群集。New clusters of this version can't be created through any means, which includes the CLI and SDKs. 其他控制平面功能(如手动缩放和自动缩放)在版本停用后也可能不起作用。Other control plane features, such as manual scaling and autoscaling, also might not work after version retirement. 对已停用的版本不提供支持。Support isn't available for retired versions.

下表列出了 HDInsight 版本。The following tables list the versions of HDInsight. 它还提供了支持到期日期和停用日期(如果已知这些日期)。The support expiration and retirement dates are also provided when they're known.

可用版本Available versions

此表列出了可通过 Azure 门户和其他部署方法(如 PowerShell 和 .NET SDK)使用的 HDInsight 版本。This table lists the versions of HDInsight that are available in the Azure portal and via other deployment methods like PowerShell and the .NET SDK.

HDInsight 版本HDInsight version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户中的可用性Availability in the Azure portal
HDInsight 4.0HDInsight 4.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2018 年 9 月 24 日September 24, 2018 Yes Yes
HDInsight 3.6HDInsight 3.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2017 年 4 月 4 日April 4, 2017 *2021 年 6 月 31 日*June 31, 2021 2021 年 6 月 31 日June 31, 2021 Yes Yes

*我们将延长对特定 HDInsight 3.6 群集类型的支持时间范围*We are extending the support timeframe for certain HDInsight 3.6 cluster types

群集类型Cluster Type 框架版本Framework version 当前支持到期日期Current support expiration 新的支持到期日期New support expiration date
HDInsight 3.6 HadoopHDInsight 3.6 Hadoop 2.7.32.7.3 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.32.3 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.22.2 2020 年 6 月 30 日停用Retired on June 30, 2020
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.12.1 2020 年 6 月 30 日停用Retired on June 30, 2020
HDInsight 3.6 KafkaHDInsight 3.6 Kafka 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 KafkaHDInsight 3.6 Kafka 1.01.0 2020 年 6 月 30 日停用。Retired on June 30, 2020.
HDInsight 3.6 HBaseHDInsight 3.6 HBase 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 Interactive QueryHDInsight 3.6 Interactive Query 2.12.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 StormHDInsight 3.6 Storm 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021

备注

对某个群集版本的支持到期后,无法通过 Azure 门户使用该版本。After support for a cluster version expires, it might not be available through the Azure portal. 在某些情况下,可以继续通过 Windows PowerShell New-AzHDInsightCluster 命令中的 Version 参数和 .NET SDK 使用群集版本,直到版本停用的那天为止。In some cases, cluster versions continue to be available by using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

已停用的版本Retired versions

此表列出了无法在 Azure 门户中使用的 HDInsight 版本。This table lists the versions of HDInsight that aren't available in the Azure portal.

HDInsight 版本HDInsight version HDP 版本HDP version VM OSVM OS 发行日期Release date 支持到期日期Support expiration date 停用日期Retirement date 高可用性High availability 在 Azure 门户中的可用性Availability in the Azure portal
HDInsight 3.5HDInsight 3.5 HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2016 年 9 月 30 日September 30, 2016 2017 年 9 月 5 日September 5, 2017 2018 年 6 月 28 日June 28, 2018 Yes No
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2016 年 3 月 29 日March 29, 2016 2016 年 12 月 29 日December 29, 2016 2018 年 1 月 9 日January 9, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2018 年 7 月 31 日July 31, 2018 Yes No
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2017 年 7 月 31 日July 31, 2017 Yes No
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS 或 Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 2015 年 2 月 18 日February 18, 2015 2016 年 3 月 1 日March 1, 2016 2017 年 4 月 1 日April 1, 2017 Yes No
HDInsight 3.1HDInsight 3.1 HDP 2.1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 2014 年 6 月 24 日June 24, 2014 2015 年 5 月 18 日May 18, 2015 2016 年 6 月 30 日June 30, 2016 Yes No
HDInsight 3.0HDInsight 3.0 HDP 2.0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 2014 年 2 月 11 日February 11, 2014 2014 年 9 月 17 日September 17, 2014 2015 年 6 月 30 日June 30, 2015 Yes No
HDInsight 2.1HDInsight 2.1 HDP 1.3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 2013 年 10 月 28 日October 28, 2013 2014 年 5 月 12 日May 12, 2014 2015 年 5 月 31 日May 31, 2015 Yes No
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 2013 年 10 月 28 日October 28, 2013 2014 年 4 月 26 日April 26, 2014 2015 年 5 月 31 日May 31, 2015 No No

备注

对于 HDInsight 2.1 和更高版本,默认情况下会集部署具有两个头节点的高度可用群集。Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. 它们不适用于 HDInsight 1.6 版本的群集。They are not available for HDInsight version 1.6 clusters.

HDInsight 群集版本的服务级别协议Service-level agreement for HDInsight cluster versions

服务级别协议是按支持窗口定义的。The service-level agreement is defined as a support window. 支持窗口是 HDInsight 版本受 Microsoft 客户服务和支持部门支持的时间段。A support window is the time period that an HDInsight version is supported by Microsoft Customer Service and Support. 如果版本的支持到期日期已过,则 HDInsight 群集处于支持窗口外。If the version has passed the support expiration date, the HDInsight cluster is outside the support window. HDInsight 版本 X 的支持到期日期(在更新的 X+1 版本可用后)为按以下公式计算所得时间的较晚者:Support expiration for HDInsight version X (after a newer X+1 version is available) is the later of:

  • 公式 1: 发布 HDInsight 群集版本 X 的日期加 180 天。Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • 公式 2: 在 Azure 门户中提供 HDInsight 群集版本 X+1 的日期加 90 天。Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in the Azure portal.

停用日期是指在此后不能在 HDInsight 上创建此群集版本的日期。The retirement date is the date after which the cluster version can't be created on HDInsight. 从 2017 年 7 月 31 日开始,无法在停用日期后调整 HDInsight 群集的大小。As of July 31, 2017, you can't resize an HDInsight cluster after its retirement date.

群集的默认节点配置和虚拟机大小Default node configuration and virtual machine sizes for clusters

有关要为群集选择哪些虚拟机 SKU 的详细信息,请参阅 Azure HDInsight 群集配置详细信息For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.

后续步骤Next steps