Databricks Runtime 11.0 （EoS）

以下发行说明提供了由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.0 的相关信息。 Databricks 于 2022 年 6 月发布此版本。

新增功能和改进

• Apache Spark 的新版本
• Python 笔记本现在使用 IPython 内核
• 支持 ipywidgets
• Synapse 连接器现以非旧模式写入 Parquet 数据
• 当 ABFS 客户端使用 SAS 令牌时，立即强制实施 HTTPS 方案
• SQL：DESC 现在是 DESCRIBE 的别名
• SQL：新的 current_version 函数输出版本详细信息
• 删除缺少的 Delta 表约束现会引发错误
• SQL：EXCEPT 语句中的新 SELECT 子句从选择中排除列
• 支持删除 Delta 表中的列（公共预览版）
• COPY INTO 改进
• CONVERT TO DELTA 现在在启用了 Unity Catalog 的环境中受支持（公共预览版）

Apache Spark 的新版本

Databricks Runtime 11.0 和 Databricks Runtime 11.0 Photon 包含 Apache Spark 3.3.0。 有关详细信息，请参阅 Apache Spark。

Python 笔记本现在使用 IPython 内核

在 Databricks Runtime 11.0 及更高版本中，Python 笔记本使用 IPython 内核执行 Python 代码。 请参阅 IPython 内核。

支持 ipywidgets

现在可使用 ipywidgets 使 Databricks Python 笔记本成为交互式笔记本。 请参阅 ipywidgets。

Synapse 连接器现以非旧模式写入 Parquet 数据

Azure Synapse 连接器现以非旧模式写入 Parquet 数据。 在将 PolyBase 和 INT96 命令用于批处理和流式传输工作负载时，它会保留 COPY 时间戳格式。

当 ABFS 客户端使用 SAS 令牌时，立即强制实施 HTTPS 方案

当 Azure Blob File System (ABFS) 客户端使用共享访问签名 (SAS) 令牌时，立即强制实施 HTTPS 方案。

SQL：DESC 现在是 DESCRIBE 的别名

现在，当描述外部位置或存储凭据时，可以使用 DESC 作为 DESCRIBE 的别名。 例如：

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL：新的 current_version 函数输出版本详细信息

新的 current_version 函数输出当前 Databricks Runtime 版本（如果可用）、当前 Databricks SQL 版本（如果可用）以及其他相关版本详细信息。 使用此新函数查询版本相关信息。 请参阅 current_version 函数。

删除缺少的 Delta 表约束现会引发错误

如果现尝试按名称删除 Delta 表约束，且该约束不存在，则会收到错误。 要获取先前的行为（如果约束不存在则不会引发错误），现必须使用 IF EXISTS 语句。 请参阅 ALTER TABLE。

SQL：EXCEPT 语句中的新 SELECT 子句从选择中排除列

SELECT 语句现支持 EXCEPT 子句从选择中排除列。 例如，SELECT * EXCEPT (x) FROM table 返回除 table 之外的所有 x 列。 也允许嵌套列。 例如，SELECT * EXCEPT (x.a) FROM table 返回 table 的所有列，但从结构 a 中省略字段 x。

支持删除 Delta 表中的列（公共预览版）

可以使用 ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> 或 ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) 分别从 Delta 表中删除列或列的列表，作为仅元数据操作。 这些列实际上是被“软删除”，因为它们仍存在于底层 Parquet 文件中，但不再对 Delta 表可见。

可以使用 REORG TABLE <table-name> APPLY (PURGE) 触发对包含任何软删除数据（如删除的列）的文件的文件重写。

可以使用 VACUUM 从物理存储中移除已删除的文件，包括包含已删除列并已被 REORG TABLE 重写的旧文件。

COPY INTO 改进：

现可创建空占位符 Delta 表，以便在 COPY INTO 命令期间推断架构：

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

前面的 SQL 语句是幂等的，可以计划运行以将数据一次性完全引入 Delta 表中。

如果由于某些损坏问题而无法读取要引入的数据，可通过在 ignoreCorruptFiles 中将 true 设置为 FORMAT_OPTIONS 来跳过已损坏的文件：

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

COPY INTO 命令返回由于 num_skipped_corrupt_files 列中出现损坏而跳过的文件数。 在 Delta 表上运行 operationMetrics 后，该指标也会显示在 numSkippedCorruptFiles 下的 DESCRIBE HISTORY 列中。

损坏的文件不会被 COPY INTO 跟踪，因此，如果修复损坏，则可以在后续运行中重新加载这些文件。 可以通过在 COPY INTO 模式下运行 VALIDATE 来查看哪些文件已损坏。

CONVERT TO DELTA 现在在启用了 Unity Catalog 的环境中受支持（公共预览版）

在启用了 Unity-Catalog 的环境中，通过使用 CONVERT TO DELTA 现在可以：

• 将外部位置中的 Parquet 文件转换为 Delta Lake。
• 将 Parquet 外部表转换为 Delta 表。

行为变更

• SQL：lpad 和 rpad 函数现支持字节序列
• format_string 和 printf 中的字符串格式不再允许 %0$
• CSV 文件中的 NULL 值现默认作为不带引号的空字符串写入
• 现已保留 external 表属性
• Log4j 从 Log4j 1 升级到 Log4j 2
• 从 Maven 安装的库现在默认在计算平面中解析

SQL：lpad 和 rpad 函数现支持字节序列

lpad 和 rpad 函数已更新，除字符串之外，还添加了对字节序列的支持。

format_string 和 printf 中的字符串格式不再允许 %0$

在 %0$ 和 format_string 函数中指定格式 printf 现会默认引发错误。 此更改是为了保留以前版本的 Databricks Runtime 和常见第三方数据库的预期行为。 使用参数索引来指示参数在参数列表中的位置时，第一个参数应始终引用 %1$。

CSV 文件中的 NULL 值现默认作为不带引号的空字符串写入

CSV 文件中的 NULL 值以前作为带引号的空字符串写入。 在此版本中，CSV 文件中的 NULL 值现默认作为不带引号的空字符串写入。 要改回以前的行为，对于写入操作，请将 nullValue 选项设置为 ""。

现已保留 external 表属性

默认情况下，属性 external 现为保留的表属性。 现在，将 external 属性与 CREATE TABLE ... TBLPROPERTIES 和 ALTER TABLE ... SET TBLPROPERTIES 子句一起使用时，会引发异常。

Log4j 从 Log4j 1 升级到 Log4j 2

Log4j 1 正在升级到 Log4j 2。 正在移除旧版 Log4j 1 依赖项。

如果依赖于先前包含在 Databricks Runtime 中的 Log4j 1 类，则这些类将不再存在。 应将依赖项升级到 Log4j 2。

如果有依赖于 Log4j 2 的自定义插件或配置文件，它们可能不再适用于此发行版中的 Log4j 2 版本。 要获取帮助，请联系 Azure Databricks 客户团队。

从 Maven 安装的库现在默认在计算平面中解析

在群集上安装库时，Maven 库现在默认在计算平面中解析。 群集必须有权访问 Maven Central。 或者，可以通过设置 Spark 配置属性还原到以前的行为：

spark.databricks.libraries.enableMavenResolution false

Bug 修复

• Apache Spark 和 Databricks Runtime 之间的 LeafNode、UnaryNode 和 BinaryNode 的二进制兼容性已得到修复，这些类现在与 Apache Spark 3.3.0 及更高版本兼容。 如果在将第三方包与 Databricks Runtime 结合使用时遇到以下或类似消息，请使用 Apache Spark 3.3.0 或更高版本重新生成该包：Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected。

库升级

• 升级了 Python 库：
  • platformdirs 已从 2.5.1 升级到 2.5.2
  • protobuf 已从 3.20.0 升级到 3.20.1
• 升级了 R 库：
  • blob 已从 1.2.2 升级到 1.2.3
  • broom 已从 0.7.12 升级到 0.8.0
  • caret 已从 6.0-91 升级到 6.0-92
  • cli 已从 3.2.0 升级到 3.3.0
  • dplyr 已从 1.0.8 升级到 1.0.9
  • future 已从 1.24.0 升级到 1.25.0
  • future.apply 已从 1.8.1 升级到 1.9.0
  • gert 已从 1.5.0 升级到 1.6.0
  • ggplot2 已从 3.3.5 升级到 3.3.6
  • glmnet 已从 4.1-3 升级到 4.1-4
  • haven 已从 2.4.3 升级到 2.5.0
  • httr 已从 1.4.2 升级到 1.4.3
  • knitr 已从 1.38 升级到 1.39
  • magrittr 已从 2.0.2 升级到 2.0.3
  • parallelly 已从 1.30.0 升级到 1.31.1
  • ps 已从 1.6.0 升级到 1.7.0
  • RColorBrewer 已从 1.1-2 升级到 1.1-3
  • RcppEigen 已从 0.3.3.9.1 升级到 0.3.3.9.2
  • readxl 已从 1.3.1 升级到 1.4.0
  • rmarkdown 已从 2.13 升级到 2.14
  • rprojroot 已从 2.0.2 升级到 2.0.3
  • RSQLite 已从 2.2.11 升级到 2.2.13
  • scales 已从 1.1.1 升级到 1.2.0
  • testthat 已从 3.1.2 升级到 3.1.4
  • tibble 已从 3.1.6 升级到 3.1.7
  • tinytex 已从 0.37 升级到 0.38
  • tzdb 已从 0.2.0 升级到 0.3.0
  • uuid 已从 1.0-4 升级到 1.1-0
  • vctrs 已从 0.3.8 升级到 0.4.1
• 升级了 Java 库：
  • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.core.jackson-core 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.core.jackson-databind 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.0 升级到 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.0 升级到 2.13.3
  • com.google.crypto.tink.tink 已从 1.6.0 升级到 1.6.1
  • com.ning.compress-lzf 已从 1.0.3 升级到 1.1
  • dev.ludovic.netlib.arpack 已从 2.2.0 升级到 2.2.1
  • dev.ludovic.netlib.blas 已从 2.2.0 升级到 2.2.1
  • dev.ludovic.netlib.lapack 已从 2.2.0 升级到 2.2.1
  • io.netty.netty-all 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-buffer 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-codec 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-common 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-handler 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-resolver 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-tcnative-classes 已从 2.0.46.Final 升级到 2.0.48.Final
  • io.netty.netty-transport 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-classes-epoll 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 已从 4.1.73.Final 升级到 4.1.74.Final
  • io.netty.netty-transport-native-unix-common 已从 4.1.73.Final 升级到 4.1.74.Final
  • joda-time.joda-time 已从 2.10.12 升级到 2.10.13
  • org.apache.commons.commons-math3 已从 3.4.1 升级到 3.6.1
  • org.apache.httpcomponents.httpcore 已从 4.4.12 升级到 4.4.14
  • org.apache.orc.orc-core 已从 1.7.3 升级到 1.7.4
  • org.apache.orc.orc-mapreduce 已从 1.7.3 升级到 1.7.4
  • org.apache.orc.orc-shims 已从 1.7.3 升级到 1.7.4
  • org.eclipse.jetty.jetty-client 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client 已从 2.2.5 升级到 2.7.4
  • org.postgresql.postgresql 已从 42.2.19 升级到 42.3.3
  • org.roaringbitmap.RoaringBitmap 已从 0.9.23 升级到 0.9.25
  • org.roaringbitmap.shims 已从 0.9.23 升级到 0.9.25
  • org.rocksdb.rocksdbjni 已从 6.20.3 升级到 6.24.2
  • org.slf4j.jcl-over-slf4j 已从 1.7.32 升级到 1.7.36
  • org.slf4j.jul-to-slf4j 已从 1.7.32 升级到 1.7.36
  • org.slf4j.slf4j-api 已从 1.7.30 升级到 1.7.36

Apache Spark

Databricks Runtime 11.0 包含 Apache Spark 3.3.0。

本节内容：

• Spark SQL 和 Core
• 结构化流
• PySpark
• MLLIB
• SparkR
• 用户界面
• 生成

Spark SQL 和 Core

ANSI 模式

• ANSI 模式中新的显式强制转换语法规则 (SPARK-33354)
• 如果在 ANSI 模式下 index 为 null，则 Elt() 应返回 null (SPARK-38304)
• （可选）如果数组/映射中不存在元素，则返回 null 结果 (SPARK-37750)
• 允许在数值类型和时间戳类型之间进行强制转换 (SPARK-37714)
• 默认禁用 ANSI 保留关键字 (SPARK-37724)
• 使用存储分配规则来解决函数调用 (SPARK-37438)
• 添加配置以允许在“日期/时间”和“数值”之间进行强制转换 (SPARK-37179)
• （可选）添加配置以强制执行 ANSI 保留关键字 (SPARK-37133)
• 禁止间隔和字符串字面量之间的二进制运算 (SPARK-36508)

功能增强

• 支持 ANSI SQL INTERVAL 类型 (SPARK-27790)
• 错误消息改进 (SPARK-38781)
• Spark SQL 的隐藏文件元数据支持 (SPARK-37273)
• 支持原始字符串字面量 (SPARK-36371)
• 批处理 Dataset.observe() 的帮助程序类 (SPARK-34806)
• 支持指定用于重新平衡的初始分区编号 (SPARK-38410)
• 支持 dropNamespace API 的级联模式 (SPARK-37929)
• 允许在日期/时间类型之间进行存储分配和隐式转换 (SPARK-37707)
• Collect、first 和 last 应是确定性聚合函数 (SPARK-32940)
• 为具有复杂重载的函数添加 ExpressionBuilder (SPARK-37164)
• 添加数组支持以便可按名称进行联合 (SPARK-36546)
• 添加 df.withMetadata：用于更新数据帧元数据的语法 suger (SPARK-36642)
• 支持原始字符串字面量 (SPARK-36371)
• 在分析默认模式下的日期/时间戳时使用 CAST (SPARK-36418)
• 支持数据集嵌套模式中的值类 (SPARK-20384)
• 添加 AS OF 语法支持 (SPARK-37219)
• 在 TABLESAMPLE 中添加 REPEATABLE 以指定种子 (SPARK-37165)
• 添加 ansi 语法 set catalog xxx 以更改当前目录 (SPARK-36841)
• 支持 ILIKE (ALL | ANY | SOME) - 不区分大小写的 LIKE (SPARK-36674、SPARK-36736、SPARK-36778)
• 支持查询阶段以带格式的说明模式显示运行时统计信息 (SPARK-38322)
• 为排序合并联接添加溢写大小指标 (SPARK-37726)
• 更新 SHOW FUNCTIONS 的 SQL 语法 (SPARK-37777)
• 支持 DROP COLUMN [IF EXISTS] 语法 (SPARK-38939)
• 新的内置函数及其扩展 (SPARK-38783)
  • 日期/时间
    • 添加 TIMESTAMPADD() 函数 (SPARK-38195)
    • 添加 TIMESTAMPDIFF() 函数 (SPARK-38284)
    • 为 DATEDIFF() 添加 TIMESTAMPDIFF() 别名 (SPARK-38389)
    • 为 DATEADD() 添加 TIMESTAMPADD() 别名 (SPARK-38332)
    • 添加 convert\_timezone() 函数（SPARK-37552、SPARK-37568）
    • 在 functions.scala 中公开 make_date 表达式 (SPARK-36554)
  • AES 函数 (SPARK-12567)
    • 添加 aes_encrypt 和 aes_decrypt 内置函数 (SPARK-12567)
    • 通过 aes\_encrypt()/aes\_decrypt() 支持 GCM 模式 (SPARK-37591)
    • 将 GCM 设置为 aes\_encrypt()/aes\_decrypt() 中的默认模式 (SPARK-37666)
    • 将 mode 和 padding 参数添加到 aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • ANSI 聚合函数 (SPARK-37671)
    • 支持 ANSI 聚合函数：regr_count (SPARK-37613)
    • 支持 ANSI 聚合函数：regr_avgx 和 regr_avgy (SPARK-37614)
    • 支持 ANSI 聚合函数：percentile_cont（SPARK-37676、SPARK-38219）
    • 支持 ANSI 聚合函数：percentile_disc (SPARK-37691)
    • 支持 ANSI 聚合函数：regr_count (SPARK-37613)
    • 支持 ANSI 聚合函数：array_agg (SPARK-27974)
    • 支持 ANSI 聚合函数：regr_r2 (SPARK-37641)
    • 新的 SQL 函数：try_avg (SPARK-38589)
  • 集合
    • 引入 SQL 函数 ARRAY_SIZE (SPARK-38345)
    • 新的 SQL 函数：map_contains_key (SPARK-37584)
    • 新的 SQL 函数：try_element_at (SPARK-37533)
    • 新的 SQL 函数：try_sum (SPARK-38548)
  • 格式
    • 添加新的 SQL 函数 to_binary（SPARK-37507、SPARK-38796）
    • 新的 SQL 函数：try_to_binary（SPARK-38590、SPARK-38796）
    • 数据类型格式设置函数：to\_number (SPARK-28137)
  • 字符串/二进制
    • 添加 CONTAINS() 字符串函数 (SPARK-37508)
    • 添加 startswith() 和 endswith() 字符串函数 (SPARK-37520)
    • 为二进制字符串添加 lpad 和 rpad 函数 (SPARK-37047)
    • 支持 split_part 函数 (SPARK-38063)
  • 将 scale 参数添加到 floor 和 ceil 函数 (SPARK-37475)
  • 新的 SQL 函数：try_subtract 和 try_multiply (SPARK-38164)
  • 实现支持部分聚合的 histogram_numeric 聚合函数 (SPARK-16280)
  • 将 max_by/min_by 添加到 sql.functions (SPARK-36963)
  • 添加新的内置 SQL 函数：SEC 和 CSC (SPARK-36683)
  • array_intersect 处理重复的 Double.NaN 和 Float.NaN (SPARK-36754)
  • 添加 cot 作为 Scala 和 Python 函数 (SPARK-36660)

性能增强功能

• 全程代码生成
  • 为排序聚合添加代码生成而不对键进行分组 (SPARK-37564)
  • 为完整的外部排序合并联接添加代码生成 (SPARK-35352)
  • 为完整的外部无序散列联接添加代码生成 (SPARK-32567)
  • 为存在排序合并联接添加代码生成 (SPARK-37316)
• 下推（筛选器）
  • 通过 RebalancePartitions 下推筛选器 (SPARK-37828)
  • 下推布尔列筛选器 (SPARK-36644)
  • 如果联接条件为空，则对左侧半/反联接的右侧实施下推限制 1 (SPARK-37917)
  • 为下推转换更多标准聚合函数 (SPARK-37527)
  • 支持通过聚合/联合传播空关系 (SPARK-35442)
  • 行级运行时筛选 (SPARK-32268)
  • 支持行级运行时筛选器中的左半联接 (SPARK-38565)
  • 支持弃用的 CTE 的谓词下推和列修剪 (SPARK-37670)
• 向量化
  • 实现一个 ConstantColumnVector 并提高隐藏文件元数据的性能 (SPARK-37896)
  • 为 VectorizedPlainValuesReader.readBooleans 启用矢量化读取 (SPARK-35867)
• 合并/移除/替换节点
  • 如果二者之间存在项目，则合并联合 (SPARK-37915)
  • 如果可以安全地向上强制转换两个转换，则合并为一个转换 (SPARK-37922)
  • 如果排序是 RepartitionByExpression 的子级，则删除排序 (SPARK-36703)
  • 如果外部联接仅在带有别名的流式侧具有 DISTINCT，则删除外部联接 (SPARK-37292)
  • 如果子项已排序，则将哈希替换为排序聚合 (SPARK-37455)
  • 仅在不复制成本高昂的表达式时才折叠项目 (SPARK-36718)
  • 删除 RewritePredicateSubquery 后的冗余别名(SPARK-36280)
  • 合并不相关的标量子查询 (SPARK-34079)
• 分区
  • 如果存在静态分区修剪，则不添加动态分区修剪 (SPARK-38148)
  • 改进优化器规则中的 RebalancePartitions (SPARK-37904)
  • 为重新平衡分区添加小分区因子(SPARK-37357)
• 联接
  • 微调逻辑以降级 DynamicJoinSelection 中的广播哈希联接 (SPARK-37753)
  • 为 SEMI/ANTI 随机哈希联接生成关系时忽略重复的联接键 (SPARK-36794)
  • 支持优化倾斜联接，即使引入了额外的 shuffle (SPARK-33832)
• AQE
  • 支持消除 AQE 优化器中的限制 (SPARK-36424)
  • 在正常模式和 AQE 优化器中优化行计划 (SPARK-38162)
• Aggregate.groupOnly 支持可折叠表达式 (SPARK-38489)
• ByteArrayMethods arrayEquals 应快速跳过与未对齐平台对齐的检查 (SPARK-37796)
• 将树模式修剪添加到 CTESubstitution 规则 (SPARK-37379)
• 添加更多 Not 运算符简化 (SPARK-36665)
• 支持 UnwrapCastInBinaryComparison 中的 BooleanType (SPARK-36607)
• 在第一个不可为空的表达式之后联合删除所有表达式 (SPARK-36359)
• 添加逻辑计划访问者以传播不同的属性 (SPARK-36194)

内置连接器增强功能

• 常规
  • 数据源中日期/时间的宽松序列化 (SPARK-38437)
  • 当其路径的第一个字母在 create/alter 表中为斜线时，将表位置视为绝对位置 (SPARK-38236)
  • 从空的静态数值类型分区中删除前导零 (SPARK-35561)
  • 支持数据源选项中的 ignoreCorruptFiles 和 ignoreMissingFiles (SPARK-38767)
  • 添加命令 SHOW CATALOGS (SPARK-35973)
• 拼花地板
  • 启用按字段 ID 匹配架构列名称 (SPARK-38094)
  • 在 parquet 中读取/写入数据时删除检查字段名称 (SPARK-27442)
  • 支持矢量化读取布尔值将 RLE 编码与 Parquet DataPage V2 结合使用 (SPARK-37864)
  • 支持矢量化路径的 Parquet v2 数据页编码 (DELTA_BINARY_PACKED) (SPARK-36879)
  • 在 Parquet/Avro 元数据中保存的会话时区中变基时间戳 (SPARK-37705)
  • 按分区列下推分组以进行聚合 (SPARK-36646)
  • 针对 Parquet 的聚合（最小/最大/计数）下推 (SPARK-36645)
  • Parquet：启用按字段 ID 匹配架构列 (SPARK-38094)
  • 如果使用 G1GC 和 ON_HEAP，则通过 LONG_ARRAY_OFFSET 减少默认页面大小 (SPARK-37593)
  • 为 Parquet V2 支持实现矢量化 DELTA_BYTE_ARRAY 和 DELTA_LENGTH_BYTE_ARRAY 编码 (SPARK-37974)
  • 支持 Parquet 矢量化读取器的复杂类型 (SPARK-34863)
• ORC
  • 在 Orc 中读取/写入现有数据时移除检查字段名称 (SPARK-37965)
  • ORC 的聚合下推 (SPARK-34960)
  • 支持从/向 ORC 数据源读取和写入 ANSI 间隔 (SPARK-36931)
  • 支持 ORC 数据源中的仅数字列名 (SPARK-36663)
• JSON
  • 在 JSON 读取器中分析带引号的 NaN 和无穷大值时遵循 allowNonNumericNumbers (SPARK-38060)
  • 默认情况下，将 CAST 用于 CSV/JSON 中的日期时间 (SPARK-36536)
  • 使 Json 读取器中 MapType 中不支持的键类型的错误消息保持一致 (SPARK-35320)
• CSV
  • 修复从 CSV 引用损坏的记录列的问题 (SPARK-38534)
  • 默认情况下，NULL 值应保存为空，而不是用引号引起来的空字符串 "" (SPARK-37575)
• JDBC
  • 将 IMMEDIATE 语句添加到 DB2 方言截断实现 (SPARK-30062)
• 蜂房
  • 支持写入 Hive Bucket 表（具有 Hive 哈希的 Hive 文件格式）(SPARK-32712)
  • 在客户端使用表达式筛选 Hive 分区 (SPARK-35437)
  • 支持 HiveTableScanExec 的动态分区修剪 (SPARK-36876)
  • InsertIntoHiveDir 应使用数据源（如果可转换）(SPARK-38215)
  • 支持写入 Hive Bucket 表（具有 Hive 哈希的 Parquet/ORC 格式）(SPARK-32709)

节点停用

• FallbackStorage 不应尝试解析任意“远程”主机名 (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved 应在完成后处理 ExecutorDecommission (SPARK-38023)

其他值得注意的更改

• 向 BlockInfoManager 添加精细化锁定 (SPARK-37356)
• 支持将 Spark gpu/fpga 资源类型映射到自定义 YARN 资源类型 (SPARK-37208)
• 报告准确的 shuffle 块大小（如果其倾斜）(SPARK-36967)
• 支持网络层的 Netty 记录 (SPARK-36719)

结构化流式处理

主要功能

• 引入用于在多个批处理中运行流查询（如 Trigger.Once）的 Trigger.AvailableNow (SPARK-36533)

其他值得注意的更改

• 为有状态运算符使用 StatefulOpClusteredDistribution 并遵守后向兼容性 (SPARK-38204)
• 修复包含键数据的批次中的 flatMapGroupsWithState 超时 (SPARK-38320)
• 修复 RocksDB 状态存储提供程序的流-流外部联接的正确性问题 (SPARK-38684)
• 在 Kafka 数据源上支持 Trigger.AvailableNow (SPARK-36649)
• 优化 RocksDB 状态存储提供程序的写入路径 (SPARK-37224)
• 引入一个新的数据源，为每个微批次提供一组一致的行 (SPARK-37062)
• 为有状态运算符使用 HashClusteredDistribution 并遵守后向兼容性 (SPARK-38204)

PySpark

Spark 上的 Pandas API

重要改进

• 默认的“分布式序列”索引优化 (SPARK-36559、SPARK-36338)
  • 支持在 Spark 上的 pandas API 中指定索引类型和名称 (SPARK-36709)
  • 在 Spark 上 pandas API 的 SQL 计划中显示默认索引类型 (SPARK-38654)

主要功能

• 实现 SparkSQL 原生 ps.merge_asof (SPARK-36813)
• 支持 Spark 上 pandas API 中的 TimedeltaIndex (SPARK-37525)
• 支持 Python 的 timedelta (SPARK-37275、SPARK-37510)
• 在 CategoricalAccessor/CategoricalIndex 中实现函数 (SPARK-36185)
• 在 Spark 上的 pandas API 中为 SQL API 使用 Python 标准字符串格式化程序 (SPARK-37436)
• 支持 timedelta Series/Index 的基本操作 (SPARK-37510)
• 支持 ps.MultiIndex.dtypes (SPARK-36930)
• 实现 Index.map (SPARK-36469)
• 实现 Series.xor 和 Series.rxor (SPARK-36653)
• 实现整数 ps.Series/Index 的一元运算符 invert (SPARK-36003)
• 实现 DataFrame.cov (SPARK-36396)
• 支持 (Series|DataFrame).describe() 的字符串和时间戳 (SPARK-37657)
• 支持 column 的 Lambda DataFrame.rename 参数 (SPARK-38763)

其他值得注意的更改

中断性变更

• 删除 docs 和 python/docs 中对 Python 3.6 支持的引用 (SPARK-36977)
• 通过将内置 pickle 替换为 cloudpickle 来移除 namedtuple hack (SPARK-32079)
• 将最低 pandas 版本提升到 1.0.5 (SPARK-37465)
• 重要改进
  • 为 Python/Pandas UDF 提供探查器 (SPARK-37443)
  • 在 PySpark 中为 SQL API 使用 Python 标准字符串格式化程序 (SPARK-37516)
  • 在 PySpark 异常中公开 SQL 状态和错误类 (SPARK-36953)
  • 尝试在 Python 工作器崩溃时捕获故障处理程序 (SPARK-36062)

主要功能

• 在 Python 中实现 DataFrame.mapInArrow (SPARK-37228)
• 在 PySpark 中为 SQL API 使用 Python 标准字符串格式化程序 (SPARK-37516)
• 添加 df.withMetadata pyspark API (SPARK-36642)
• 支持 Python 的 timedelta (SPARK-37275)
• 在 pyspark.sql.catalog 中公开 tableExists (SPARK-36176)
• 在 pyspark.sql.catalog 中公开 databaseExists (SPARK-36207)
• 在 pyspark sql 目录中公开 functionExists (SPARK-36258)
• 将 Dataframe.observation 添加到 PySpark (SPARK-36263)
• 将 max_by/min_by API 添加到 PySpark (SPARK-36972)
• 支持在创建数据帧时将嵌套的字典推断为结构 (SPARK-35929)
• 向 Scala、Python 和 R 添加 bit/octet_length API (SPARK-36751)
• 支持 Python 上的 ILIKE API (SPARK-36882)
• 为 Python DataFrame API 添加 isEmpty 方法 (SPARK-37207)
• 添加多列添加支持 (SPARK-35173)
• 在 PySpark 中添加 SparkContext.addArchive (SPARK-38278)
• 使 sql 类型 reprs 可评估 (SPARK-18621)
• python/pyspark/mllib 中 fpm.py 的内联类型提示 (SPARK-37396)
• 实现 dropna 的 SeriesGroupBy.value_counts 参数 (SPARK-38837)

Apache Spark的机器学习库MLLIB

主要功能

• 将 distanceMeasure 参数添加到 trainKMeansModel (SPARK-37118)
• 公开 LogisticRegression.setInitialModel，如 KMeans 等等 (SPARK-36481)
• 支持 CrossValidatorModel 获取每个 paramMap 的指标标准偏差 (SPARK-36425)

重要改进

• 通过延迟分配优化 MLlib 中的某些 treeAggregates (SPARK-35848)
• 将 _shared_params_code_gen.py 重写为 ml/param/shared.py 的内联类型提示 (SPARK-37419)

其他值得注意的更改

• 更新到 breeze 1.2 (SPARK-35310)

SparkR

• 将 SparkR 文档迁移到 pkgdown (SPARK-37474)
• 在 R 中公开 make_date 表达式 (SPARK-37108)
• 将 max_by/min_by API 添加到 SparkR (SPARK-36976)
• 支持 R 上的 ILIKE API (SPARK-36899)
• 添加 sec 和 csc 作为 R 函数 (SPARK-36824)
• 向 Scala、Python 和 R 添加 bit/octet_length API (SPARK-36751)
• 添加 cot 作为 R 函数 (SPARK-36688)

用户界面

• 阶段级别的推测指标总结 (SPARK-36038)
• 在 StagePage 中将随机读取块时间统一为随机读取提取等待时间 (SPARK-37469)
• 添加修改后的配置以在 UI 中执行 SQL (SPARK-34735)
• 让 ThriftServer 识别 spark.sql.redaction.string.regex (SPARK-36400)
• 在 UI 中启动应用程序后附加和启动处理程序 (SPARK-36237)
• 将提交持续时间添加到 SQL 选项卡的图形节点 (SPARK-34399)
• 在 Spark History Server 中支持 RocksDB 后端 (SPARK-37680)
• 在 UI 中显示 Spark 上的 Pandas API 选项 (SPARK-38656)
• 在 SQL UI 页面，将“SQL”重命名为“SQL / DataFrame”(SPARK-38657)

构建

• 从 log4j 1 迁移到 log4j 2 (SPARK-37814)
• 将 log4j2 升级到 2.17.2 (SPARK-38544)
• 升级到 Py4J 0.10.9.5 (SPARK-38563)
• 将 ORC 更新到 1.7.4 (SPARK-38866)
• 将 datatables 更新到 1.10.25 (SPARK-38924)

维护更新

请参阅 Databricks Runtime 11.0 (EoS)。

系统环境

• 操作系统：Ubuntu 20.04.4 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.5
• R：4.1.3
• Delta Lake：1.2.1

已安装的 Python 库

已安装的 R 库

R 库是通过 2022-05-06 版本中的 Microsoft CRAN 快照安装的。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）