Databricks Runtime 3.4（不受支持）

• 12/08/2020
• • m
  • D

Databricks 于 2017 年 11 月发布了此映像。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 3.4 的相关信息。

更改和改进

• 为 PySpark 引入了新的向量化 UDF。
• 能够限制查询监视器中的最大分区数。
• 改进了使用 Databricks 库 UI 和 API 安装 CRAN 包时的错误消息通信。
• MySQL JDBC 驱动程序已替换为 MariaDB JDBC 驱动程序。
• 已将 Python 库 setuptools 从 36.2.7 升级到 36.6.0，将 wheel 从 0.30.0a0 升级到 0.30.0。
• 已将 R 从 3.2.3 升级到 3.4.2。
• 升级了多个预安装的 R 库。 有关详细信息，请参阅预安装的 R 库。
• 为需要符合 HIPAA 的群集的客户添加了 AES 加密

Apache Spark

Databricks Runtime 3.4 包括 Apache Spark 2.2.0。 Databricks Runtime 3.4 还包括以下额外的 bug 修复和对 Spark 的改进：

• [SPARK-21718][SQL] 以下类型的日志繁多：“正在根据统计信息跳过分区 ...”
• [SPARK-22278][SS] 在 GroupState 中公开当前事件时间水印和当前处理时间
• [SPARK-22187][SS] 更新已保存状态的 unsaferow 格式，以便在状态为 null 时可以设置超时
• [SPARK-22136][SS] 在流间联接中提前评估单侧条件
• [SPARK-20396][SQL][PYSPARK] 包含 pandas udf 的 groupby().apply()
• [SPARK-22124][SQL] 示例和限制还应延迟 codegen 下的输入评估
• [SPARK-21782][CORE] 当 numPartitions 是 2 的幂时，重新分区会产生扭曲
• [SPARK-21527][CORE] 使用缓冲区限制，以便使用 JAVA NIO Util 的 buffercache
• [SPARK-22176][SQL] 修复 Dataset.show 中的溢出问题
• [SPARK-21410][CORE] 如果 RDD.count() 小于 partitions，则为 RangePartitioner 创建较少的分区
• [SPARK-21517][CORE] 远程传输区块时避免复制内存
• [SPARK-22238] 修复由 EnsureStatefulOpPartitioning 导致的计划解决方法 bug
• [SPARK-22159][SQL] 使配置名称始终以“enabled”结尾。
• [SPARK-20331][SQL] 增强的 Hive 分区修剪谓词下推
• [SPARK-22223][SQL] ObjectHashAggregate 不应引入不必要的混排
• [SPARK-22263][SQL] 将 deterministic 重构为惰性值
• [SPARK-22257][SQL] 保留 ExpressionSet 中的所有非确定性表达式
• [SPARK-21907][CORE] 修复溢出期间的内存不足
• [SPARK-22252][SPARK-21165]FileFormatWriter bug 修复
• [SPARK-22230]在状态存储还原中交换每行顺序。
• [SPARK-21988][SS] 实现 StreamingRelation.computeStats 以修复说明
• [SPARK-22170][SQL] 减少广播联接中的内存消耗
• [SPARK-22206][SQL][SPARKR] R 中的 gapply 对空的分组列不起作用
• [SPARK-20466][CORE] HadoopRDD#addLocalConfiguration 引发 NPE
• [SPARK-22178][SQL] 通过 REFRESH TABLE 命令刷新持久视图
• [SPARK-22158][SQL] convertMetastore 不应忽略表属性
• [SPARK-22146]读取包含特殊字符的 ORC 文件时出现 FileNotFoundException
• [SPARK-22161][SQL] 添加 Impala 修改的 TPC-DS 查询
• [SPARK-22129][SPARK-22138] 发布脚本改进
• [SPARK-22143][SQL] 修复 OffHeapColumnVector 中的内存泄漏
• [SPARK-22140]添加 TPCDSQuerySuite
• [SPARK-22214][SQL] 重构列表 hive 分区代码
• [SPARK-22136][SS] 实现流间外部联接。
• [SPARK-22053][SS] 追加模式下的流间内部联接
• [SPARK-22153][SQL] 重命名 ShuffleExchange -ShuffleExchangeExec
• [SPARK-22160][SQL] 使每个分区的样本点数（在范围分区程序中）可配置并将默认值提升到 100
• [SPARK-22159][SQL] 使配置名称始终以“enabled”结尾。
• [SPARK-22141][SQL] 在检查笛卡尔乘积之前传播空关系
• [SPARK-22120][SQL] TestHiveSparkSession.reset() 应当清除 Hive 仓库目录
• [SPARK-22083][CORE] 释放 MemoryStore.evictBlocksToFreeSpace 中的锁
• [SPARK-22107]更改 python 快速入门中的 as to alias
• [SPARK-22109][SQL] 解决分区列中的字符串和时间戳之间的类型冲突
• [SPARK-22092] OffHeapColumnVector.reserveInternal 中的重新分配损坏了结构和数组数据
• [SPARK-18136] 为 Windows 上的 Python pip install 修复 SPARK_JARS_DIR
• [SPARK-22094][SS] processAllAvailable 应当检查查询状态
• [SPARK-21928][CORE] 在 SerializerManager 的专用 kryo 上设置 classloader
• [SPARK-22076][SQL] Expand.projections 不应当是流
• [SPARK-22052] 在 MetricsReporter.scala 中分配了不正确的指标
• [SPARK-22043][PYTHON] 改进有关 show_profiles 和 dump_profiles 的错误消息
• [SPARK-21953]同时显示溢出的内存和磁盘字节数（如果存在）
• [SPARK-21985][PYSPARK] 双重压缩的 RDD 的 PairDeserializer 被破坏
• [SPARK-18608][ML][FOLLOWUP] 修复 PySpark OneVsRest 的双重缓存。
• [SPARK-21980][SQL] 组函数中的引用应通过 semanticEquals 编制索引
• [SPARK-22103]将 HashAggregateExec 父代消耗移动到一个单独的函数中
• [SPARK-22141][SQL] 在检查笛卡尔乘积之前传播空关系
• [SPARK-21977]SinglePartition 优化破坏了某些流式处理有状态聚合要求

已知问题

• 执行程序页上的日志链接未正确设置。 现在，请使用辅助角色页访问执行程序的 stdout 和 stderr 链接。

维护更新

请参阅 Databricks Runtime 3.4 维护更新。

系统环境

• 操作系统：Ubuntu 16.04.3 LTS
• Java：1.8.0_131
• Scala：2.10.6（Scala 2.10 群集版本）/2.11.8（Scala 2.11 群集版本）
• Python：2.7.12（如果启用 Python 3 支持，则为 3.5.2）
• R：R 版本 3.4.2 (2017-09-28)
• 对于 GPU 群集，安装了以下 NVIDIA GPU 库：
  • CUDA 8.0
  • CUDNN 6.0

预安装的 Python 库

预安装的 R 库

预安装的 Java 和 Scala 库（Scala 2.10 群集版本）

预安装的 Java 和 Scala 库（Scala 2.11 群集版本）