Databricks Runtime 5.2 (EoS)

Databricks 于 2019 年 1 月发布了此映像。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 5.2 的相关信息。

新增功能

Databricks 顾问

Databricks 顾问会自动分析命令，并显示建议通知来帮助你提高性能。

请参阅 Databricks 顾问。

Delta Lake 功能

此 Databricks Runtime 版本添加了以下新的 Delta Lake 功能：

• 快速 Parquet 导入允许将 Parquet 文件导入到 Delta 表中，而无需复制数据。 此功能可以更轻松地转换现有的 Parquet 表以及将管道迁移到 Delta。

• 按时间顺序查看添加了使用时间戳字符串或版本、使用 SQL 语法以及时间戳表达式的 DataFrameReader 选项来查询表快照的功能。 这是一个很好的工具，适用于：

  • 重新创建分析、报表或输出（例如，机器学习模型的输出），这对调试或审核非常有用，尤其是在受管制的领域中。
  • 编写复杂的时态查询。
  • 修复数据中的错误。
  • 为针对快速变化表的一组查询提供快照隔离。

  重要

  此功能为试验性的。

  请参阅使用 Delta Lake 表历史记录。

作用域为笔记本的库

库实用工具 (dbutils.library)（旧版） 现在支持 Azure 文件系统 URI 方案 adl、abfss 和 wasbs。 借助 Databricks 实用工具库 API，你可以使用库实用工具将 Python 库（包括 Eggs、Wheels 和 PyPI）安装到 Python 笔记本。

改进

• Delta Lake
  • 现在，表历史记录会显示快照版本读取，并且会显示写入到 Delta 表时使用的隔离级别。
  • 增加了对 ALTER TABLE SET LOCATION 的支持。
  • 添加了对 MERGE INTO Delta 表的 UPDATE 子句中的嵌套字段（例如 MERGE INTO table ON ... WHEN MATCHED THEN UPDATE SET topLevel.nestedField = ...）的支持。
• 改进了 approx_count_distinct 聚合函数的性能。
• 已将 Java 从 1.8.0_181 升级到 1.8.0_191。
• 已将 Janino Java 编译器从 3.0.9 升级到 3.0.10。
• 删除了 Java 库 com.mchange.c3p0 和 com.mchange.mchange-commons-java。
• 已将 Python 中的 setuptools 从 40.6.2 升级到了 40.6.3。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。

Bug 修复

• 使笔记本 display() 遵守 Apache Spark 会话时区配置。

Apache Spark

Databricks Runtime 5.2 包括 Apache Spark 2.4.0。 此版本包括 Databricks Runtime 5.1 (EoS) 中包含的所有修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-26586][SS] 修复导致流以意外配置运行的争用条件
• [SPARK-26267][SS] 检测到 Kafka 的错误偏移时重试 (dbr-branch-5.x)
• [SPARK-26383][CORE] 使用具有错误 URL 的 DataFrameReader.jdbc 时的 NPE
• [SPARK-26019][PYSPARK] 允许不安全的 py4j 网关
• [SPARK-26098][WEBUI] 在“作业”页中显示关联的 SQL 查询
• [SPARK-26402] 在不区分大小写的模式下，访问具有不同大小写的嵌套字段
• [SPARK-26444][WEBUI] 阶段颜色不随其状态更改
• [SPARK-26426][SQL] 修复 Windows 操作系统中的 ExpresionInfo 断言错误。
• [SPARK-26352][SQL] 联接重新排序不应更改输出属性的顺序
• [SPARK-26422][R] 支持在 SparkR 中禁用 Hive 支持，即使使用的是 Hive 分支不支持的 Hadoop 版本
• [SPARK-24687][CORE] 生成任务二进制文件导致致命错误时，避免作业挂起
• [SPARK-26366][SQL] ReplaceExceptWithFilter 应将 NULL 视为 False
• [SPARK-26394][CORE] 为 Utils.timeStringAsMs 修复注释错误
• [SPARK-26382][CORE] 前缀比较运算符应当处理 -0.0
• [SPARK-26352][SQL] 修复 branch-2.4 中缺少的 sameOutput
• [SPARK-26352][SQL] 联接重新排序不应更改输出属性的顺序
• [SPARK-26316][SPARK-21052] 恢复导致性能降低的哈希联接指标
• [SPARK-26315][PYSPARK] 在 BucketedRandomProjectionLSHModel 的 approxSimilarityJoin 中，自动将阈值从整数强制转换为浮点数
• [SPARK-26265][CORE] 将 freePage 置于 finally 块中
• [SPARK-26370][SQL] 为同一标识符修复高阶函数的解。
• [SPARK-21809]更改阶段页面，以使用数据表来支持列排序和搜索
• [SPARK-26355][PYSPARK] 为 PyArrow 0.11 添加解决方法。
• [SPARK-26265][CORE] 修复同时锁定 BytesToBytesMap.MapIterator 和 TaskMemoryManager 时 BytesToBytesMap.MapIterator 中出现的死锁
• [SPARK-26327][SQL] 针对 FileSourceScanExec 指标更新的 bug 修复
• [SPARK-26307][SQL] 修复使用 Hive serde 来 INSERT 分区表时的 CTAS。
• [SPARK-26233][SQL] 对十进制值进行编码时 CheckOverflow
• [SPARK-26119][CORE][WEBUI] 任务摘要表应当仅包含成功任务的指标
• [SPARK-24423][SQL] 修复错误示例
• [SPARK-25860][SQL] 尽可能将 Literal(null, _) 替换为 FalseLiteral
• [SPARK-26219][CORE] 应在历史记录服务器 UI 中为失败作业更新执行程序摘要
• [SPARK-26226][SQL] 更新查询跟踪器以报告各个阶段的时间线
• [SPARK-26181][SQL] ColumnStatsMap 的 hasMinMaxStats 方法不正确
• [SPARK-26198][SQL] 修复元数据序列化 null 值引发 NPE
• [SPARK-26080][PYTHON] 在 Python 辅助角色中跳过 Windows 上的 Python 资源限制
• [SPARK-26241][SQL] 将 queryId 添加到 IncrementalExecution（向后移植）
• [SPARK-26201] 通过加密修复 python 广播
• [SPARK-26188][SQL] FileIndex：如果用户指定了架构，则不推断分区列的数据类型
• [SPARK-26186][SPARK-26184][CORE] 没有为正在进行的应用程序更新上次更新时间
• [SPARK-24341][SQL] 仅支持每行具有相同项数的 IN 子查询
• [SPARK-26137][CORE] 改用 Java 系统属性“file.separator”…
• [SPARK-26114][CORE] ExternalSorter 的 readingIterator 字段泄漏
• [SPARK-25451][SPARK-26100][CORE] 聚合指标表不显示正确的任务总数
• [SPARK-25786][CORE] 如果 ByteBuffer.hasArray 为 false，则它将引发 Kryo 的 UnsupportedOperationException
• [SPARK-24553][UI] 修复不必要的 UI 重定向
• [SPARK-26109][WEBUI] 持续时间在任务摘要指标表和任务表中不同
• [SPARK-26084][SQL] 修复未解决的 AggregateExpression.references 异常
• [SPARK-25947][SQL][BACKPORT-5.X] 通过仅选择排序列减少 ShuffleExchangeExec 中的内存使用量
• [SPARK-26118][WEB UI] 引入了用于设置 HTTP requestHeaderSize 的 spark.ui.requestHeaderSize
• [SPARK-26079][SQL] 确保 StreamingQueryListenersConfSuite 中的侦听器事件传送。
• [SPARK-26092][SS] 使用 CheckpointFileManager 写入流式处理元数据文件
• [SPARK-25883][SQL] 替代 from_avro/to_avro 中的方法 prettyName

维护更新

请参阅 Databricks Runtime 5.2 维护更新。

系统环境

• 操作系统：Ubuntu 16.04.5 LTS
• Java：1.8.0_191
• Scala：2.11.8
• Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
• R：R 版本 3.4.4 (2018-03-15)
• GPU 群集：安装了以下 NVIDIA GPU 库：
  • Tesla 驱动程序 375.66
  • CUDA 9.0
  • cuDNN 7.0

已安装的 Python 库

已安装的 R 库

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）