Databricks Runtime 11.3 LTS （EoS）

以下发行说明提供有关由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.3 LTS 的信息。 Databricks 于 2022 年 10 月发布了此版本。

行为变更

[重大变更] 新版本的 Python 需要更新 Databricks Connect V1 Python 客户端

若要应用所需的安全修补程序，Databricks Runtime 11.3 LTS 中的 Python 版本从 3.9.5 更新到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此将 Databricks Connect V1 for Python 与 Databricks Runtime 11.3 LTS 的任何客户端都必须更新为 Python 3.9.7 或更高版本。

新功能和改进

• Python 已从 3.9.19 升级到 3.9.21
• 已弃用结构化流式处理触发器一次
• 更改自动加载程序源路径
• Databricks Kinesis 连接器现在支持在 EFO 模式下读取 Kinesis 数据流
• 新增 H3 地理空间函数，并为所有 H3 函数增加了 Photon 支持
• 预测 I/O 的新功能
• 增加初始分区以扫描选择性查询
• 新版 AQE 计划版本可视化
• 新的异步进度跟踪和日志清除模式
• 在 Unity Catalog 上的结构化流式处理现在支持 display()
• 管道事件现在以 JSON 格式记录
• 使用 Python 在结构化流式处理中进行任意状态处理
• CSV 文件中的日期推理
• Apache Parquet 和 Apache Iceberg 表的克隆支持（公共预览版）
• 使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置

Python 已从 3.9.19 升级到 3.9.21

Databricks Runtime 11.3 LTS 中的 Python 版本从 3.9.19 更新为 3.9.21。

结构化流式处理中的一次性触发器已被弃用

该 Trigger.Once 设置已弃用。 Databricks 建议使用 Trigger.AvailableNow。 请参阅配置结构化流式处理触发器间隔。

更改自动加载程序的源路径

现在可以更改使用目录列表模式配置的自动加载器的目录输入路径，而无需选择新的检查点目录。 请参阅 自动加载程序更改源路径。

Databricks Kinesis 连接器现在支持在 EFO 模式下从 Kinesis 数据流读取

现在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 结构化流源运行在增强扇出模式下从 Kinesis 数据流读取的查询。 这允许在推送模式下为每个分片、每个使用者和记录传递提供专用吞吐量。

新增 H3 地理空间函数，并为所有 H3 函数添加了 Photon 支持

引入 4 个新的 H3 函数、h3_maxchild、h3_minchild和h3_pointash3h3_pointash3string。 这些函数在 SQL、Scala 和 Python 中可用。 Photon 现在支持所有 H3 表达式。 请参阅 H3 地理空间函数。

预测 I/O 的新功能

Photon 支持运行帧时使用范围模式 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW。 Photon 还支持使用范围模式来增加帧 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }。

增加初始分区用于扫描特定查询

在启用了 Photon 的群集和 Databricks SQL 中，对于包含 take/tail/limit 的选择性查询，要扫描的初始分区的值已增加到 10。 使用 10 个分区，可以避免启动多个小型作业和扩展缓慢带来的开销。 还可以通过 spark.sql.limit.selectiveInitialNumPartitions 配置。

新的 AQE 计划版本可视化

介绍 AQE 计划版本，可用于可视化自适应查询执行（AQE）中的运行时计划更新。

新的异步进度跟踪和日志清除模式

引入名为异步进度跟踪和异步日志清除的结构化流模式。 异步日志清除模式通过删除后台用于进度跟踪的日志来降低流式处理查询的延迟。

Unity 目录上的结构化流式处理现在支持 display()

现在使用结构化流时，可以使用 display() 来处理在 Unity Catalog 中注册的表。

管道事件现在以 JSON 格式记录

Azure Databricks 现在以 JSON 格式将管道事件写入驱动程序日志。 虽然每个事件都是 JSON 分析的，但大型事件可能不包含所有字段，或者字段可能会被截断。 每个事件都记录在带有前缀 Event received: 的单个行中。 下面是一个示例事件。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

在结构化流媒体处理中使用 Python 实现任意有状态处理

applyInPandasWithState介绍可用于在 PySpark 中执行任意有状态处理的函数。 这相当于 flatMapGroupsWithState Java API 中的函数。

CSV 文件中的日期推理

引入 CSV 文件中日期类型列的优化推断。 当日期格式在列的记录中保持一致时，可以将这些列推断为 DateType。 可以在不同的列中使用多种日期格式。 Azure Databricks 可以自动推断每个列的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 文件中的日期列保留为 StringType。

对 Apache Parquet 和 Apache Iceberg 表的克隆支持（公共预览版）

克隆现在可用于创建和增量更新镜像 Apache Parquet 和 Apache Iceberg 表的 Delta 表。 可以更新源 Parquet 表，并使用克隆命令以增量方式将更改应用到其克隆的 Delta 表。 请参阅将 Parquet 表和 Apache Iceberg 表增量克隆到 Delta Lake。

使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置

现在，可以使用 MANAGED LOCATION SQL 命令为托管表指定目录级和架构级的云存储位置。 请参阅 CREATE CATALOG 和 CREATE SCHEMA。

行为变更

Databricks Connect 11.3.2

现在支持 Databricks Connect 客户端更新 11.3.2。 请参阅 Databricks Connect 和 Databricks Connect 发行说明。

更新了 Azure Databricks Snowflake 连接器

Azure Databricks Snowflake 连接器已更新到来自开源存储库 Snowflake 数据源的最新版本的代码，适用于 Apache Spark。 它现在与 Databricks Runtime 11.3 LTS 完全兼容，包括谓词下推和内部查询计划下推，同时保留开源版的所有功能。

S3A 的 Hadoop 缓存现已禁用

S3A 的 Hadoop 缓存（FileSystem Apache Hadoop Main 3.3.4 API）现已禁用。 这是为了与其他云存储连接器保持一致。 对于依赖于文件系统缓存的工作负荷，务必确保新创建的文件系统使用正确的 Hadoop 配置，包括在内的凭据提供程序。

Delta Lake 统计信息集合架构现在与表架构定义中的列顺序匹配

由于 DataFrame 和表列排序不匹配导致未收集列的统计信息，此更改解决了 Delta Lake 协议中的此问题。 在某些情况下，由于对以前未跟踪字段上的统计信息进行收集，可能会导致写入性能下降。 请参阅 Delta Lake 的数据跳过。

如果查询在运算符后出现混排，applyInPandasWithState 将引发错误

运算符applyInPandasWithState如果查询在该运算符shuffle之后将引发错误。 当用户在作后添加 shuffle ，或者优化器或接收器隐式添加 shuffle 时，就会发生这种情况。

图书馆升级

• 升级后的 Python 库：
  • distlib 从 0.3.5 升级到 0.3.6
• 升级了 R 库：
  • broom 从 1.0.0 更新到 1.0.1
  • callr从 3.7.1 到 3.7.2
  • dplyr 从 1.0.9 升级到 1.0.10
  • dtplyr 从 1.2.1 到 1.2.2
  • forcats 版本更新从 0.5.1 到 0.5.2
  • future 从 1.27.0 到 1.28.0
  • future.apply 从 1.9.0 到 1.9.1
  • gert 从 1.7.0 升级到 1.8.0
  • 全局从 0.16.0 更新到 0.16.1
  • 可从 0.3.0 升级到 0.3.1
  • haven 从 2.5.0 到 2.5.1
  • hms版本更新从1.1.1到1.1.2
  • httr 从 1.4.3 到 1.4.4
  • knitr 从 1.39 升级到 1.40
  • modelr 从 0.1.8 到 0.1.9
  • 从 1.8.0 到 1.8.1 的支柱
  • progressr 从 0.10.1 升级到 0.11.0
  • readxl 从 1.4.0 到 1.4.1
  • 从 2.0.1 升级到 2.0.2
  • rlang 从 1.0.4 到 1.0.5
  • rmarkdown 从 2.14 到 2.16
  • RSQLite 从 2.2.15 到 2.2.16
  • rstudioapi 从 0.13 到 0.14
  • rversions 从 2.1.1 到 2.1.2
  • rvest 从版本 1.0.2 升级到 1.0.3
  • 从 1.2.0 升级到 1.2.1
  • sparklyr 从 1.7.7 到 1.7.8
  • stringr 从 1.4.0 到 1.4.1
  • 生存率从 3.2-13 逐渐提高到 3.4-0
  • tinytex 从 0.40 到 0.41
  • viridisLite 从 0.4.0 到 0.4.1
• 升级后的 Java 库：
  • com.fasterxml.jackson.core.jackson-annotations 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.core.jackson-core 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.core.jackson-databind 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer 从 2.13.3 到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 从 2.13.3 到 2.13.4
  • org.apache.hadoop.hadoop-client-api 从 3.3.2-databricks 到 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime 从 3.3.2 到 3.3.4
  • org.apache.orc.orc-core 从 1.7.5 到 1.7.6
  • org.apache.orc.orc-mapreduce 从 1.7.5 到 1.7.6
  • org.apache.orc.orc-shims 从 1.7.5 到 1.7.6
  • 将 org.apache.parquet.parquet-column 的版本从 1.12.0-databricks-0004 更新到 1.12.0-databricks-0007。
  • 将 org.apache.parquet.parquet-common 从版本 1.12.0-databricks-0004 更新到版本 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding 从 1.12.0-databricks-0004 到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures 从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop 从 1.12.0-databricks-0004 到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson 从 1.12.0-databricks-0004 到 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet 从 2.34 到 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core 从 2.34 到 2.36
  • org.glassfish.jersey.core.jersey-client 从 2.34 到 2.36
  • org.glassfish.jersey.core.jersey-common 从 2.34 到 2.36
  • org.glassfish.jersey.core.jersey-server 从 2.34 到 2.36
  • org.glassfish.jersey.inject.jersey-hk2 从 2.34 到 2.36

Apache Spark

Databricks Runtime 11.3 LTS 包括 Apache Spark 3.3.0。 此版本包括 Databricks Runtime 11.2（EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-39957] [ WARMFIX][sc-111425][CORE] 延迟 onDisconnected 以使 Driver 能够接收 ExecutorExitCode
• [SPARK-39955] [ WARMFIX][sc-111424][CORE] 改进启动任务过程，以避免由于无法发送启动任务消息而导致的阶段失败。
• [SPARK-40474] [ SC-106248][cherry-pick] 更正日期时间列的 CSV 架构推理行为，并为日期字段引入自动检测
• [SPARK-40535] [ SC-111243][sql] 修复了当输入行为空时不会创建聚合累加器缓冲区的问题。
• [SPARK-40434] [ SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] 在 PySpark 中实现 applyInPandasWithState
• [SPARK-40460] [ SC-110832][ss] 在选择时修复流式处理指标 _metadata
• [SPARK-40324] [ SC-109943][sql] 提供查询上下文 ParseException
• [SPARK-40466] [ SC-110899][ss] 在 DSv1 不可用且 DSv2 被禁用时改进错误消息
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext 应高效支持反复调用
• [SPARK-40169] [SC-110772][sql] 不要下推与数据架构无关的 Parquet 筛选器
• [SPARK-40467] [ SC-110759][ss] 将 FlatMapGroupsWithState 拆分为多个测试套件
• [SPARK-40468] [SC-110813][sql] 修复当选择_corrupt_record时 CSV 中的列修剪
• [SPARK-40291] [ SC-110085][sql] 改进关于列不在GROUP BY子句中的错误消息
• [SPARK-40398] [ SC-110762][core][SQL] 使用循环替代Arrays.stream API
• [SPARK-40433] [ SC-110684][ss][PYTHON] 在 PythonSQLUtils 中添加 toJVMRow，将选取的 PySpark 行转换为 JVM 行
• [SPARK-40414] [ SC-110568][sql][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更多泛型类型
• [SPARK-40352] [ SC-109945][sql] 添加函数别名：len、datepart、dateadd、date_diff 和 curdate
• [SPARK-40470] [ SC-110761][sql] 在“arrays_zip”函数中处理 GetArrayStructFields 和 GetMapValue
• [SPARK-40387] [ SC-110685][sql] 改进 Spark Decimal 的实现
• [SPARK-40429] [ SC-110675][sql] 仅在引用的列位于输出中时设置 KeyGroupedPartitioning
• [SPARK-40432] [ SC-110716][ss][PYTHON] 在 PySpark 中引入 GroupStateImpl 和 GroupStateTimeout
• [SPARK-39915] [ SC-110496][sql] 确保在 AQE 中输出分区是用户指定的
• [SPARK-29260] [SQL] 如果 HMS 支持，则支持ALTER DATABASE SET LOCATION
• [SPARK-40185] [ SC-110056][sql] 当候选列表为空时删除列建议
• [SPARK-40362] [SC-110401][sql] 修复 BinaryComparison 规范化
• [SPARK-40411] [ SC-110381][ss] 重构 FlatMapGroupsWithStateExec 以具有父特征
• [SPARK-40293] [ SC-110084][sql] 使 V2 表错误消息更有意义
• [SPARK-38734] [SC-110383][sql] 删除错误类 INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] 修复“arrays_zip”函数中在从嵌套结构体中引用数组时的列名。
• [SPARK-40276] [SC-109674][core] 减小 RDD.takeOrdered 的结果大小
• [SPARK-40197] [ SC-109176][sql] 将 MULTI_VALUE_SUBQUERY_ERROR 的查询计划替换为其上下文
• [SPARK-40300] [ SC-109942][sql] 迁移到 DATATYPE_MISMATCH 错误类
• [SPARK-40149] [ SC-110055][sql] 通过 Project 传播元数据列
• [SPARK-40280] [SC-110146][sql] 添加对带注解 int 和 long 的 parquet 下推支持
• [SPARK-40220] [ SC-110143][sc-109175][SQL] 不要输出错误消息参数的空映射
• [SPARK-40295] [ SC-110070][sql] 允许在写入分布/排序中使用文本参数的 v2 函数
• [SPARK-40156] [SC-109264][sql] url_decode() 应返回错误类
• [SPARK-39195] [SQL] 提交文件与任务状态不一致时，Spark OutputCommitCoordinator 应中止阶段
• [SPARK-40260] [ SC-109424][sql] 在 GROUP BY 位置的编译错误中使用错误类
• [SPARK-40205] [ SC-110144][sc-109082][SQL] 提供ELEMENT_AT_BY_INDEX_ZERO的查询上下文
• [SPARK-40112] [ SC-109676][sql] 改进 TO_BINARY（） 函数
• [SPARK-40209] [ SC-109081][sql] 遇到错误时不要更改小数类型的changePrecision() 区间值
• [SPARK-40319] [ SC-109873][sql] 删除PARSE_DATETIME_BY_NEW_PARSER重复的查询执行错误处理方法
• [SPARK-40222] [ SC-109209][sql] 数值try_add/try_divide/try_subtract/try_multiply应从其子级引发错误
• [SPARK-40183] [ SC-108907][sql] 在十进制转换中使用错误类NUMERIC_VALUE_OUT_OF_RANGE溢出
• [SPARK-40180] [ SC-109069][sql] 设置错误消息的格式 spark-sql
• [SPARK-40153] [ SC-109165][sql] 统一解析函数和表值函数
• [SPARK-40308] [ SC-109880][sql] 允许非折叠分隔符参数应用于str_to_map函数
• [SPARK-40219] [ SC-110052][sc-109663][SQL] 解析的视图逻辑计划应保留模式以避免冗余查找
• [SPARK-40098] [ SC-109939][sc-108693][SQL] 设置 Thrift 服务器中的错误消息的格式
• [SPARK-39917] [SC-109038][sql] 为数值/间隔算术溢出采用不同的错误分类
• [SPARK-40033][ SC-109875][sql] 通过 element_at 支持嵌套架构修剪
• [SPARK-40194] [ SC-109660][sql] 空正则表达式上的 SPLIT 函数应截断尾随空字符串。
• [SPARK-40228] [SC-109835][sql] 如果子表达式不是廉价表达式，请不要简化 multiLike
• [SPARK-40039] [ SC-109896][sc-109260][SS] 引入基于 Hadoop 的 Abortable 接口的流式检查点文件管理器
• [SPARK-40285] [SC-109679][sql] 简化 roundTo[Numeric] 用于 Spark Decimal
• [SPARK-39896] [SC-109658][sql] 当 In/InSet 的字面量向下转换失败时，UnwrapCastInBinaryComparison 应该正常工作
• [SPARK-40040] [ SC-109662][sql] 如果联接条件为空，请将本地限制推送到双方
• [SPARK-40055] [ SC-109075][sql] listCatalogs 也应返回spark_catalog，即使spark_catalog实现为 defaultSessionCatalog
• [SPARK-39915] [ SC-109391][sql] Dataset.repartition（N） 可能不会创建 N 个分区非 AQE 部件
• [SPARK-40207] [ SC-109401][sql] 在数据源不支持数据类型时指定列名
• [SPARK-40245] [ SC-109295][sql] 修复在未读取分区或数据筛选器列时的 FileScan 相等性检查问题
• [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 接口实现
• [SPARK-40211] [ SC-109226][core][SQL] 允许在 take（） 行为中自定义初始分区编号
• [SPARK-40252] [SC-109379][sql] 替换为 Stream.collect(Collectors.joining)StringJoiner Api
• [SPARK-40247] [ SC-109272][sql] 修复 BitSet 相等性检查
• [SPARK-40067] [SQL] 使用 Table#name（） 而不是 Scan#name（） 填充 SparkUI 中的 BatchScan 节点中的表名称
• [SPARK-39966] [SQL] 在 SupportsDelete 中使用 V2 筛选器
• [SPARK-39607] [ SC-109268][sql][DSV2] 分发和排序支持 V2 函数（以书面形式编写）
• [SPARK-40224] [ SC-109271][sql] 使 ObjectHashAggregateExec 在回退到基于排序时急切地释放内存
• [SPARK-40013] [SQL] DS V2 表达式应具有默认值 toString
• [SPARK-40214] [SC-109079][python][SQL] 将“get”添加到函数
• [SPARK-40192] [ SC-109089][sql][ML] 删除冗余 groupby
• [SPARK-40146] [SC-108694][sql] 简化获取地图值的 codegen
• [SPARK-40109] [SQL] 新 SQL 函数：get（）
• [SPARK-39929] [SQL] DS V2 支持下推字符串函数（非 ANSI）
• [SPARK-39819] [ SQL] DS V2 聚合下推可以与 Top N 或分页（按表达式排序）一起工作
• [SPARK-40213] [ SC-109077][sql] 支持对 Latin-1 字符进行 ASCII 值转换
• [SPARK-39887] [ SQL] RemoveRedundantAliases 应保留使投影节点输出唯一的别名
• [SPARK-39764] [SQL] 使 PhysicalOperation 与 ScanOperation 相同
• [SPARK-39964] [SQL] DS V2 下推操作应标准化转换路径
• [SPARK-39528] [SQL] 在 SupportsRuntimeFiltering 中使用 V2 筛选器
• [SPARK-40066] [SQL] ANSI 模式：对映射列的访问无效时始终返回 null
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [ SC-108736][sql] 在 DSv1 中禁用 Parquet 列索引以修复重叠分区和数据列时出现的正确性问题
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令应打印限定的函数名称，如 v1
• [SPARK-39767] [SQL] 删除 UnresolvedDBObjectName 并添加 UnresolvedIdentifier
• [SPARK-40163] [ SC-108740][sql] 特性：SparkSession.config（Map）
• [SPARK-40136] [SQL] 修复 SQL 查询上下文的片段
• [SPARK-40107] [ SC-108689][sql] 将 empty2null 转换从 FileFormatWriter 中抽取出来
• [SPARK-40121] [ PYTHON][sql] 初始化用于 Python UDF 的投影
• [SPARK-40128] [ SQL] 使 VectorizedColumnReader 识别 DELTA_LENGTH_BYTE_ARRAY 为独立的列编码
• [SPARK-40132] [ML] 将 rawPredictionCol 还原到 MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [ SC-108696][sql] 增强 EliminateSorts 以支持通过 LocalLimit 移除排序
• [SPARK-39629] [SQL] 支持 v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] 向 DataFrame 操作添加 array_sort (column, comparator) 重载
• [SPARK-40117] [ PYTHON][sql] 在 DataFrameWriterV2.overwrite 中将条件转换为 java
• [SPARK-40105] [ SQL] 改进 ReplaceCTERefWithRepartition 中的重新分区
• [SPARK-39503] [ SQL] 为 v1 数据库表和函数添加会话目录名称
• [SPARK-39889] [SQL] 对于数值和时间间隔的除以 0 操作，使用不同的错误类别
• [SPARK-39741] [ SQL] 支持将 URL 编码/解码为内置函数并整理与 URL 相关的函数
• [SPARK-40102] [SQL] 在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
• [SPARK-40014] [SQL] 支持将小数转换为 ANSI 间隔
• [SPARK-39776] [ SQL][follow] 在 ANSI 模式下更新 PlanStabilitySuite 的 UT
• [SPARK-39963] [SQL] 简化 SimplifyCasts.isWiderCast

维护更新

请参阅 Databricks Runtime 11.3 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.5 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.21
• R：4.1.3
• Delta Lake：2.1.0

已安装的 Python 库

已安装的 R 库

R 库从 2022-09-08 的 Microsoft CRAN 快照中安装。 快照不再可用。

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）