Databricks Runtime 7.3 LTS （EoS）

Databricks 于 2020 年 9 月发布此版本。 2020 年 10 月为其声明了长期支持 (LTS)。

以下发行说明提供了由 Apache Spark 3.0 提供支持的 Databricks Runtime 7.3 LTS 的相关信息。

有关从 Databricks Runtime 6.x 进行迁移的帮助信息，请参阅 Databricks Runtime 7.x 迁移指南 (EoS)。

此版本提供以下 Delta Lake 新功能和改进：

• Delta Lake 性能优化大大减少了开销
• 克隆指标现已可用
• Delta Lake MERGE INTO 改进
• 为 Delta Lake 的结构化流处理源指定初始位置

此版本可实现一系列优化，从而将 Delta Lake 操作的开销从几秒钟减少到数十毫秒。 若要启用这些优化，必须将所有写入和读取 Delta 表的群集升级到 Databricks Runtime 7.3 LTS 或更高版本。

现在会记录克隆操作指标，并可以在运行 DESCRIBE HISTORY 时查看。 有关详细信息，请参阅使用 describe detail 查看 Delta Lake 表详细信息。

• 合并现在支持任意数量的 MATCHED 和 NOT MATCHED 子句。
• 将匹配行以无条件方式删除的合并查询不会在多个匹配项上引发错误。

Delta Lake 结构化流式处理连接器现在支持 startingVersion 和 startingTimestamp 选项，以便指定流式处理查询的起点，而无需处理整个表。 有关详细信息，请参阅指定初始位置。

自适应查询执行 (AQE) 是一个查询重新优化框架，可以根据收集到的运行时统计信息在执行过程中动态调整查询计划。 AQE 在 Databricks Runtime 7.3 LTS 中已默认启用。 现在，可以尝试使用所有 AQE 功能。 有关详细信息，请参阅自适应查询执行。

• 现在目录列表模式下支持 Azure Data Lake Storage Gen1

• 如果文件格式为 text 或 binaryFile，则不再需要提供架构。 由于这两种文件格式具有固定的架构，Auto Loader 可以自动使用固定的架构。

现在，可以使用新参数 maxbinlength 来控制 BinaryType 列的列长。 此参数会转换为 VARBINARY(maxbinlength)。

先前的（不可配置的）默认值为 VARBINARY(MAX)，这在创建包含二进制列和默认索引架构的表时会引发问题。 具体来说，表创建将失败，因为默认的列存储索引不支持字符串和二进制列中的 MAX。

若要启用以下改进，请设置 Spark 配置 spark.databricks.execution.pandasZeroConfConversion.enabled：

• createDataFrame(pandas_df) 已在 Azure Databricks 上进行了优化。
• 如果无法有效地完成转换或无法进行转换，系统会显示警告。

使用新的配置设置 (spark.databricks.driver.localMaxResultSize)，可以控制 maxResultSize 调用的 df.toPandas()。 此限制暂时更改为 max（spark.driver.maxResultSize、spark.databricks.driver.localMaxResultSize）。 配置设置的默认值为物理内存大小除以 4。

如果 df.toPandas() 结果大小大于 spark.driver.maxResultSize，但又小于 spark.databricks.driver.localMaxResultSize，则会显示警告。

此配置设置仅影响 df.toPandas() 调用创建的 DataFrame。

在 Azure Databricks 笔记本中，当 Pandas 或 PySpark UDF 出现错误时，相应的错误消息现在包括代码出错的行号及根本原因的信息。

• 升级了 Python 库：
  • koalas 已从 1.1.0 升级到 1.2.0。
  • pyarrow 已从 0.15.1 升级到 1.0.1。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• OpenJDK 8 版本从 Ubuntu OpenJDK 8 更改为 Zulu OpenJDK 8 。

Databricks Runtime 7.3 LTS 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：

• [SPARK-32302][SPARK-28169] [SQL] 通过联接/分区部分下推转折谓词
• [SPARK-32337] [SQL] 在 AQE 计划树字符串中显示初始计划
• [SPARK-30662] 重置 HasBlockSize 的 API 更改
• [SPARK-32620] [SQL] 启用 DPP 后重置 numPartitions 指标
• [SPARK-32646] [SQL] ORC 谓词下推应与不区分大小写的分析一起使用
• [SPARK-32676] [ML] 修复 KMeans/BiKMeans 中的双重缓存问题
• [SPARK-32092] [ ML][pyspark] 删除了 foldCol 相关代码
• [SPARK-32594] [SQL] 替代 get()，并在 DaysWritable 中使用儒略日
• [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
• [SPARK-32092] [ ML][pyspark] 修复了在 CrossValidatorModel.copy（）、 read（） 和 write（） 中未复制的参数
• [SPARK-32672] [SQL] 修复布尔位集压缩中的数据损坏问题
• [SPARK-32663] [CORE] 避免单独关闭共用的 TransportClients（必须通过池关闭）
• [SPARK-32621] [SQL] 路径的选项在推断 CSV/JSON 数据源中的架构时可能会导致问题
• [SPARK-28863] [SQL] 不要重复使用物理计划
• [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
• [SPARK-28863] [SQL] 引入 AlreadyPlanned，防止对 V1FallbackWriters 进行重新分析
• [SPARK-32451] [R] 支持 Apache Arrow 1.0.0
• [SPARK-32652] [SQL] RowEncoder 的 ObjectSerializerPruning 失败
• [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks 应考虑全部种类的资源
• [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
• [SPARK-32625] [SQL] 回退到解释器模式时记录错误消息
• [SPARK-32543] [R] 删除 SparkR 中的 arrow::as_tibble 用法
• [SPARK-31703] [SQL] 未正确读取大型 endian 平台上的 Parquet RLE 浮动/双精度
• [SPARK-32586] [SQL] 修复启用 ANSI 后出现 NumberFormatException 错误消息的问题
• [SPARK-32456] [SS] 通过将其视为结构化流式处理的聚合来检查区别
• [SPARK-32576] [SQL] 支持 PostgreSQL bpchar 类型和字符类型数组
• [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
• [SPARK-32560] [SQL] 改进执行 InsertIntoHiveTable.processInsert 时出现的异常消息
• [SPARK-32546] [SQL] 直接从 Hive 表获取表名称
• [SPARK-32529] [CORE] 修复 Historyserver 日志扫描因应用程序状态更改而中止的问题
• [SPARK-32003] [CORE] 使用外部随机播放服务时，在执行程序丢失后发生提取失败时，取消注册执行程序的输出
• [SPARK-32160] [ CORE][pyspark] 更改配置名称以在执行器中切换允许/禁止 SparkContext
• [SPARK-32160] [ CORE][pyspark] 添加配置以切换允许/禁止在执行器中创建 SparkContext
• [SPARK-32083] [SQL] AQE 不应合并 SinglePartition 的分区
• [SPARK-32509] [SQL] 忽略标准化化中未使用的 DPP True 筛选器
• [SPARK-32332] [SQL] 支持列式交换
• [SPARK-32227] 使用 Spark 3.0.0 修复 load-spark-env.cmd 中的回归 bug
• [SPARK-32478] [ R][sql] 错误消息，显示在gapply中使用Arrow矢量化时的架构不匹配
• [SPARK-32030] [SQL] 在 SQL 解析器中的 MERGE INTO 中支持无限的 MATCHED 和 NOT MATCHED 子句
• [SPARK-32175] [CORE] 修正 ExecutorPlugin 初始化与启动心跳线程之间的顺序
• [SPARK-32283] [CORE] Kryo 应支持多个用户注册者
• [SPARK-32424] [SQL] 如果发生溢出，请修复静态数据更改以进行时间戳分析
• [SPARK-32430] [SQL] 扩展 SparkSessionExtensions，将规则注入 AQE 查询阶段准备
• [SPARK-32310] [ ML][pyspark] ML 参数默认值一致性
• [SPARK-32237] [SQL] 解析 CTE 中的提示
• [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight 只应重写冲突计划的上级节点的属性
• [SPARK-32364] [SQL] 添加 toMap 以返回 originalMap 和文档
• [SPARK-32364] [SQL] 将 CaseInsensitiveMap 用于 DataFrameReader/Writer 选项
• [SPARK-32377] [SQL] CaseInsensitiveMap 应在添加时具有确定性
• [SPARK-32365] [SQL] 在 regexp_extract 中为负值索引添加边界条件
• [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup 和 basePath 不应区分大小写
• [SPARK-32344] [SQL] 在不同的聚合中，无效 expr 设置为 FIRST/LAST ignoreNullsExpr
• [SPARK-32234] [SQL] Spark sql 命令在选择 Orc 表时失败

请参阅 Databricks Runtime 7.3 LTS 维护更新。

• 操作系统：Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64（内部版本 1.8.0_265-b11）
• Scala：2.12.10
• Python：3.7.5
• R：R 版本 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

R 库安装自 2020-07-14 的 Microsoft CRAN 快照。