Azure HDInsight 上的 Hadoop 组件发行说明

Note

在 Azure 中国区,HDInsight Linux 仅支持 3.5 或更高版本。 在 Azure 中国区无法创建 HDInsight Linux 3.2、3.3 和 3.4。 但是,可以通过 HDInsight 模拟器使用这些版本。

本文提供有关最新 Azure HDInsight 版本更新的信息。 有关较早版本的信息,请参阅 HDInsight 发行说明存档

Important

Linux 是 HDInsight 3.4 或更高版本上使用的唯一操作系统。 有关详细信息,请参阅 HDInsight 版本控制文章

2018/03/20 - Spark 2.2 on HDInsight 3.6 版发行说明

  • Spark 2.2.0 可跨 Spark Core、SQL、ML 提高稳定性,并使结构化流达到正式发布状态。 Spark 2.2.0 现已在 HDInsight 3.6 上提供。

HDInsight 08/01/2017 版发行说明

标题 说明 受影响的区域 群集类型
HDInsight 3.6 现在包含较新版本的 Hadoop 堆栈 服务 全部
Interactive Hive(预览版)群集的更新 服务 交互式 Hive(预览版)
Hadoop 群集的更新 Templeton 作业操作可靠性得到提高。 有关详细信息,请参阅 https://issues.apache.org/jira/browse/HIVE-15947 服务 Hadoop
YARN 更新 HDInsight 现在创建 250 GB Ambari 数据库(而不增加成本),这会形成更好的客户体验。 此更改应防止填满 ATS,并且可能具有更好的性能。 服务 全部
Spark 更新 发布 Spark 2.1.1。 有关详细信息,请参阅 Spark 版本 2.1.1 服务 Spark

2017 年 4 月 6 日:HDInsight 3.6 公开上市

  • 在此次发布中,Azure HDInsight 添加了基于 HDP 2.6 的 3.6 版。 此处提供 HDP 2.6 发行说明;此处提供有关 HDInsight 版本的详细信息。 HDInsight 3.6 可用于以下工作负荷:

    • Hadoop v2.7.3
    • HBase v1.1.2
    • Storm v1.1.0
    • Spark v2.1.0
    • Interactive Hive v2.1.0
  • Hive View 2.0 支持。 这应该能够改善 Interactive Hive 的用户体验。 有关详细信息,请参阅 Hortonworks 文档

  • Hive LLAP 性能增强。 有关详细信息,请参阅 Hortonworks 文档

  • Hive 中的新增功能。 请参阅 Hortonworks 文档

  • Hive CLI 弃用:已弃用 Hive CLI,建议客户改为使用 Beeline。 有关详细信息,请参阅 Apache 文档。 有关如何将 Beeline 与 HDInsight 配合使用的说明,请参阅将 Beeline 与 HDInsight Hadoop 群集配合使用

  • Apache Phoenix 和 HBase 中的新增功能

    • 存储配额支持:常用于多租户环境,可按表和按命名空间提供有限的存储空间。
    • Phoenix 索引改进:增量创建索引以及从之前失败的场景中重新生成/恢复索引。
    • Phoenix 数据完整性工具:支持验证架构、索引和其他元数据。
  • HBase 问题:运行 CSV 批量上传 MapReduce 作业时,以下语法可能会导致错误。

      HADOOP_CLASSPATH=$(hbase mapredcp):/path/to/hbase/conf hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv
    

    请改用以下语法:

      HADOOP_CLASSPATH=/path/to/hbase-protocol.jar:/path/to/hbase/conf hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv
    

2017 年 2 月 28 日:发布 Spark 2.1 on HDInsight 3.6(预览版)

  • Spark 2.1 纠正了旧版中的许多稳定性和可用性问题。 它还带来了针对所有 Spark 工作负荷(如 Spark Core、SQL、ML 和流式处理)的新功能。
  • 结构化流式处理通过支持事件时间水印和 Kafka 0.10 连接器提高了可伸缩性。
  • 现在使用新的可缩放分区处理机制处理 Spark SQL 分区。 有关如何升级,请参阅 此处 的更多详细信息。
  • Azure HDInsight 3.6 预览版中的 Spark 2.1 目前不支持使用 ODBC 驱动程序的 BI 工具连接。

2016 年 11 月 18 日:发布 Spark 2.0.1 on HDInsight 3.5

Spark 2.0.1 现已在 Spark 群集(HDInsight 版本 3.5)上发行。

2016 年 11 月 9 日:发布 Spark 2.0 on HDInsight

  • HDInsight 3.5 上的 Spark 2.0 群集现支持 Livy 和 Jupyter 服务。