Databricks Runtime 7.5 （EoS）

Databricks 于 2020 年 12 月发布了此版本。

以下发行说明提供了由 Apache Spark 3.0 支持的 Databricks Runtime 7.5 的相关信息。

新增功能

Delta Lake 新增功能和改进

此版本提供以下 Delta Lake 新功能和改进：

• 异步检查点可消除流微批处理持续时间峰值
• 最新的表信息现在将传播到目录
• MERGE INTO 操作现在支持嵌套列的架构演变
• MERGE INTO 操作现在可自动使用优化写入
• MERGE INTO 和 UPDATE 操作现在可按名称解析嵌套结构列
• CLONE 已正式发布，现在可以替代表属性
• RESTORE 已正式发布
• Scala 可隐式简化 Spark 读取和写入 API
• fetchParallelism 连接器选项可提高流式处理吞吐量
• 用新的自动加载程序指标跟踪流进度

异步检查点可消除流微批处理持续时间峰值

默认情况下，Delta Lake 每 10 次提交执行一次检查点。 在流式处理工作负载中，检查点可能会导致微批处理持续时间每 10 次提交出现一次较小的峰值。 异步检查点可消除这些峰值。

默认情况下，对于所有非一次性触发流式处理工作负载，异步检查点均处于启用状态。 使用异步检查点，流式写入器还会编写增强的检查点，因此无需主动选择使用增强的检查点。

若要禁用异步检查点，请设置 SQL 配置 spark.databricks.delta.checkpoint.async.enabled false。

批处理工作负载继续同步写入检查点，我们建议不要为批处理工作负载启用异步检查点。

最新的表信息现在将传播到目录

现在，Delta Lake 会尽力将最新的表信息（如架构和表属性）传播到 Hive 元存储的目录。 此类信息可帮助你利用编录工具了解 Delta 表的架构。

Delta Lake 在内部不依赖于此信息，但会尝试使其保持最新状态。 此外，Delta Lake 还存储表属性 delta.lastUpdateVersion 和 delta.lastCommitTimestamp 来表示最后一次将更改推送到元存储的提交的版本和时间戳。 仅当表的架构或表中的属性不匹配时，才更新元存储。 因此，上述表属性并不一定反映表的最新版本。

如果你的表信息和元存储信息不同步，则可以运行命令（如 DESCRIBE <table>）来更新元存储。

MERGE INTO 操作现在支持嵌套列的架构演变

现在，嵌套列的架构演变具有与顶级列相同的语义。 例如，可以将新的嵌套列自动添加到 StructType 列。 有关详细信息，请参阅Merge 中的自动架构演变。

MERGE INTO 操作现在可自动使用优化写入

优化写入可以为 MERGE INTO 开箱即用提供更好的性能，尤其是对于已分区表上的 MERGE INTO。 若要禁用优化写入，请将 spark.databricks.delta.optimizeWrite.enabled Spark 配置设置为 false。

MERGE INTO 和 UPDATE 操作现在可按名称解析嵌套结构列

更新操作 UPDATE 和 MERGE INTO 命令现在可按名称解析嵌套结构列。 也就是说，比较或分配 StructType 类型的列时，嵌套列的顺序无关紧要（与顶级列的顺序完全相同）。 若要还原为按位置进行解析，请将 Spark 配置 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled 设置为 false。

CLONE 已正式发布，现在可以替代表属性

CLONE 命令现已正式发布。 请参阅CREATE TABLE CLONE。 此外，在使用 CLONE 时，现在可以指定表属性替代。 有关示例，请参阅克隆 Azure Databricks 上的表。

RESTORE 已正式发布

RESTORE 命令现已正式发布。 请参阅 RESTORE。

Scala 可隐式简化 Spark 读取和写入 API

可以导入 io.delta.implicits._ 以将 delta 方法与 Spark 读取和写入 API 结合使用。

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

fetchParallelism 连接器选项可提高流式处理吞吐量

AQS 连接器现在支持新的选项 fetchParallelism，用于指定从队列服务中提取消息的并行度。

用新的自动加载程序指标跟踪流进度

自动加载程序现在会报告积压工作 (backlog) 中存在多少个文件以及每个批处理后积压工作 (backlog) 的大小。 可以使用这些指标跟踪流进度。 若要详细了解如何查看指标，请参阅什么是自动加载程序？。

改进

使用 %pip 和 %conda magic 命令更广泛地支持笔记本范围的库

现在，可以在启用表 ACL 或凭据直通的高并发群集上使用 %pip 和 %conda magic 命令安装笔记本范围的库。

准确的 Spark SQL DECIMAL 显示

现在，表中将显示 Spark SQL DECIMAL 数据类型，而不会损失精度和小数位数。

基于 Hadoop 3.3 for ABFS 的 ADLS Gen 2 存储连接器

ADLS Gen 2 存储连接器的升级版基于 Hadoop 3.3 for ABFS。 升级的连接器包含许多稳定性改进（请参阅 Hadoop 稳定性），且支持 SAS 令牌身份验证。

其他修复

已删除 Spark 流式处理的 Databricks Kafka 连接器。 使用 Apache Spark 连接器。

库升级

• 升级了 Python 库：
  • koalas 已从 1.3.0 升级到 1.4.0。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• OpenJDK 8 内部版本已升级到 Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）。

Apache Spark

Databricks Runtime 7.5 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.4 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-33611] [UI] 避免对重写的代理 URL 的查询参数进行两次编码
• [SPARK-33587] [CORE] 在出现嵌套的灾难性错误 (7.x) 时终止执行程序
• [SPARK-33140] [SQL] 还原不使用传入 SparkSession 的代码来获取 SQLConf。
• [SPARK-33472] [SQL] 调整 RemoveRedundantSorts 规则顺序
• [SPARK-33422] [DOC] 修复左侧菜单项的正确显示
• [SPARK-27421] [SQL] 修复在删除分区列时用于 int 列和值类 java.lang.String 的筛选器
• [SPARK-33483] [ INFRA][测试] 修复老鼠排除模式并添加 LICENSE
• [SPARK-33464] [INFRA] 添加/删除必要/不必要的缓存并重构 GitHub Actions yaml
• [SPARK-33407] [ PYTHON][7.x] 简化 Python UDF 中的异常消息（默认禁用）
• [SPARK-33435] [SQL] DSv2：REFRESH TABLE 应该会使引用表的缓存无效
• [SPARK-33358] [SQL] 命令处理失败时返回代码
• [SPARK-33183] [DBCONNECT] 将 RemoveRedundantSorts.scala 添加到 ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESH TABLE 应该使缓存无效，即使可能未缓存表本身
• [SPARK-33140] [SQL] 修复增量编译
• [SPARK-33316] [SQL] 使用架构注册表和用户提供的可为空的 Avro 架构为 from_avro 和 to_avro 添加单元测试
• [SPARK-33404] [SQL] 修复 date_trunc 表达式中的错误结果
• [SPARK-33339] [PYTHON] 由于发生非异常错误，Pyspark 应用程序将挂起
• [SPARK-33412] [SQL] OverwriteByExpression 应基于表关系而不是输入查询来解决其删除条件
• [SPARK-33391] [SQL] element_at 中的 CreateArray 未使用从 1 开始的索引。
• [SPARK-33316] [SQL] 支持用户在 Avro 编写中为不可为 null 的 catalyst 架构提供可为空的 Avro 架构
• [SPARK-33372] [SQL] 修复删除 InSet bucket 的问题
• [SPARK-33371] [PYTHON] 更新 Python 3.9 的 setup.py 和测试
• [SPARK-33140] [SQL] 在 Rule[QueryPlan] 的所有子类中删除 SQLConf 和 SparkSession
• [SPARK-33338] [SQL] 使用文本映射的 GROUP BY 不应失败
• [SPARK-33306] [SQL] 将日期强制转换为字符串时需要时区
• [SPARK-33284] [WEB-UI] 在“存储 UI”页面中，单击任何字段以对表进行排序将导致标头内容丢失
• [SPARK-33362] [SQL] skipSchemaResolution 仍应需要解决查询
• [SPARK-32257] [SQL] 报告无效使用 SET/RESET 命令的显式错误
• [SPARK-32406] [SQL] 使 RESET 语法支持单一配置重置
• [SPARK-32376] [SQL] 使 unionByName 的 null 填充行为适用于结构列
• [SPARK-32308] [SQL] 将 unionByName 的按名称解析逻辑从 API 代码移至分析阶段
• [SPARK-20044] [UI] 使用路径前缀反向代理 URL 支持前端反向代理之后的 Spark UI
• [SPARK-33268] [ SQL][python] 修复了从/向 PythonUserDefinedType 转换数据的 bug
• [SPARK-33292] [SQL] 消除文本 ArrayBasedMapData 字符串表示形式的歧义
• [SPARK-33183] [SQL] 修复优化程序规则 EliminateSorts 并添加物理规则以删除冗余排序
• [SPARK-33272] [SQL] 删除 QueryPlan.transformUpWithNewOutput 中的属性映射
• [SPARK-32090] [SQL] 改进 UserDefinedType.equal() 以使其对称
• [SPARK-33267] [SQL] 修复当“In”筛选器的其中一个值包含 null 时出现的 NPE 问题
• [SPARK-33208] [SQL] 更新 SparkSession#sql 的文档
• [SPARK-33260] [SQL] 修复 sortOrder 为 Stream 时来自 SortExec 的错误结果
• [SPARK-33230] [SQL] Hadoop 提交者在“spark.sql.sources.writeJobUUID”中获得唯一的作业 ID
• [SPARK-33197] [SQL] 更改 spark.sql.analyzer.maxIterations 在运行时生效
• [SPARK-33228] [SQL] 替换具有相同逻辑计划的视图时，请勿取消缓存数据
• [SPARK-32557] [CORE] 记录和忽略历史记录服务器中每个条目的异常
• [SPARK-32436] [CORE] 在 HighlyCompressedMapStatus.readExternal 中初始化 numNonEmptyBlocks
• [SPARK-33131] [SQL] 修复了包含 having 子句的分组集无法解析限定 col 名称的问题
• [SPARK-32761] [SQL] 允许聚合多个可折叠的不同表达式
• [SPARK-33094] [SQL] 使 ORC 格式将 Hadoop 配置从 DS 选项传播到基础 HDFS 文件系统

维护更新

请参阅 Databricks Runtime 7.5 维护更新。

系统环境

• 操作系统：Ubuntu 18.04.5 LTS
• Java：Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）
• Scala：2.12.10
• Python：3.7.5
• R：R 版本 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2020-11-02 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）