Databricks Runtime 11.3 LTS

以下发行说明提供了由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.3 LTS 的相关信息。 Databricks 于 2022 年 10 月发布了此版本。

若要应用所需的安全修补程序，Databricks Runtime 11.3 LTS 中的 Python 版本从 3.9.5 更新到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此将 Databricks Connect V1 for Python 与 Databricks Runtime 11.3 LTS 配合使用的任何客户端都必须更新为 Python 3.9.7 或更高版本。

• Python 已从 3.9.19 升级到 3.9.21
• 弃用结构化流式处理触发一次
• 更改自动加载程序的源路径
• Databricks Kinesis 连接器现在支持在 EFO 模式下从 Kinesis 数据流读取
• 新增了 H3 地理空间函数并为所有 H3 函数添加了 Photon 支持
• 预测性 I/O 的新功能
• 为选择性查询增加了可扫描的初始分区数
• 新的 AQE 计划版本可视化
• 新的异步进程跟踪和日志清除模式
• Unity Catalog 上的结构化流现在支持 display()
• 管道事件现以 JSON 格式记录
• 使用 Python 在结构化流中进行任意有状态处理
• CSV 文件中的日期推理
• 对 Apache Parquet 和 Apache Iceberg 表的克隆支持（公共预览版）
• 使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置

Databricks Runtime 11.3 LTS 中的 Python 版本从 3.9.19 更新为 3.9.21。

Trigger.Once 设置已弃用。 Databricks 建议你使用 Trigger.AvailableNow。 请参阅配置结构化流式处理触发器间隔。

现在可以更改配置为目录列表模式的自动加载程序的目录输入路径，而无需选择新的检查点目录。 请参阅更改自动加载程序的源路径。

现在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 结构化流式传输源，以运行查询在增强的扇出模式下从 Kinesis 数据流读取。 这样就可以在推送模式下为每个分片、每个使用者和记录传送提供专用吞吐量。

引入了 4 个新的 H3 函数：h3_maxchild、h3_minchild、h3_pointash3 和 h3_pointash3string。 这些函数在 SQL、Scala 和 Python 中可用。 Photon 现在支持所有 H3 表达式。 请参阅 H3 地理空间函数。

Photon 支持在运行帧时使用范围模式（使用 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW）。 Photon 还支持在增大帧时使用范围模式（使用 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }）。

要扫描的初始分区的值已增加到 10，以便在启用了 Photon 的群集中使用 take/tail/limit，在 Databricks SQL 中使用 LIMIT 进行选择性查询。 使用 10 个分区可以避免启动多个小型作业产生的开销和纵向扩展速度变慢。 还可以通过 spark.sql.limit.selectiveInitialNumPartitions 配置此值。

引入 AQE 计划版本，可用于可视化自适应查询执行 (AQE) 中的运行时计划更新。

引入称为异步进程跟踪和异步日志清除的结构化流模式。 异步日志清除模式通过在后台删除用于进程跟踪的日志来降低流式处理查询的延迟。

现在，借助结构化流处理在 Unity Catalog 中注册的表时，可以使用 display()。

Azure Databricks 现以 JSON 格式将管道事件写入驱动程序日志。 虽然每个事件都是 JSON 可分析的，但大型事件可能不包含所有字段，或者字段可能会被截断。 每个事件都记录在带有前缀 Event received: 的单行中。 以下是一个示例事件。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

引入可用于在 PySpark 中执行任意有状态处理的 applyInPandasWithState 函数。 这相当于 Java API 中的 flatMapGroupsWithState 函数。

在 CSV 文件中引入改进的日期类型列的推理。 当列的记录中的日期格式一致时，可以将这些列推断为 DateType。 还可以跨不同列组合日期格式。 Azure Databricks 可以自动推理每一列的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 文件中的日期列保留为 StringType。

克隆现在可用于创建和增量更新 Delta 表，该表反映了 Apache Parquet 表和 Apache Iceberg 表。 可以更新源 Parquet 表，并使用 clone 命令将更改增量应用到其克隆的 Delta 表。 请参阅将 Parquet 表和 Iceberg 表增量克隆到 Delta Lake。

现在，可以使用 MANAGED LOCATION SQL 命令为托管表指定目录级和架构级的云存储位置。 请参阅 CREATE CATALOG 和 CREATE SCHEMA。

现在支持 Databricks Connect 客户端更新 11.3.2。 请参阅 Databricks Connect 和 Databricks Connect 发行说明。

Azure Databricks Snowflake 连接器已更新为开源存储库适用于 Apache Spark 的 Snowflake 数据源中的最新代码版本。 它现在与 Databricks Runtime 11.3 LTS 完全兼容，包括谓词下推和内部查询计划下推，同时保持开源版本的所有功能。

S3A 的 Hadoop 缓存 (FileSystem Apache Hadoop Main 3.3.4 API) 现已禁用。 这是为了与其他云存储连接器保持一致。 对于依赖文件系统缓存的工作负载，请确保为新创建的文件系统提供正确的 Hadoop 配置，包括凭据提供程序。

此更改解决了 Delta Lake 协议中的一个 bug，即由于 DataFrame 和表列排序不匹配，无法在其中收集列的统计信息。 在某些情况下，可能会由于在以前未跟踪的字段中收集统计信息而出现写入性能下降的情况。 请参阅 Delta Lake 的跳过数据。

如果在执行运算符之后，查询出现 applyInPandasWithState，运算符 shuffle 会引发错误。 当用户在操作后添加 shuffle，或者优化器或接收器隐式添加 shuffle 时，就会发生这种情况。

• 升级了 Python 库：
  • distlib 已从 0.3.5 升级到 0.3.6
• 升级了 R 库：
  • broom 已从 1.0.0 升级到 1.0.1
  • callr 已从 3.7.1 升级到 3.7.2
  • dplyr 已从 1.0.9 升级到 1.0.10
  • dtplyr 已从 1.2.1 升级到 1.2.2
  • forcats 已从 0.5.1 升级到 0.5.2
  • future 已从 1.27.0 升级到 1.28.0
  • future.apply 已从 1.9.0 升级到 1.9.1
  • gert 已从 1.7.0 升级到 1.8.0
  • globals 已从 0.16.0 升级到 0.16.1
  • gtable 已从 0.3.0 升级到 0.3.1
  • haven 已从 2.5.0 升级到 2.5.1
  • hms 已从 1.1.1 升级到 1.1.2
  • httr 已从 1.4.3 升级到 1.4.4
  • knitr 已从 1.39 升级到 1.40
  • modelr 已从 0.1.8 升级到 0.1.9
  • pillar 已从 1.8.0 升级到 1.8.1
  • progressr 已从 0.10.1 升级到 0.11.0
  • readxl 已从 1.4.0 升级到 1.4.1
  • reprex 已从 2.0.1 升级到 2.0.2
  • rlang 已从 1.0.4 升级到 1.0.5
  • rmarkdown 已从 2.14 升级到 2.16
  • RSQLite 已从 2.2.15 升级到 2.2.16
  • rstudioapi 已从 0.13 升级到到 0.14
  • rversions 已从 2.1.1 升级到 2.1.2
  • rvest 已从 1.0.2 升级到 1.0.3
  • scales 已从 1.2.0 升级到 1.2.1
  • sparklyr 已从 1.7.7 升级到 1.7.8
  • stringr 已从 1.4.0 升级到 1.4.1
  • survival 已从 3.2-13 升级到 3.4-0
  • tinytex 已从 0.40 升级到 0.41
  • viridisLite 已从 0.4.0 升级到 0.4.1
• 升级了 Java 库：
  • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.core.jackson-core 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.core.jackson-databind 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.3 升级到 2.13.4
  • org.apache.hadoop.hadoop-client-api 已从 3.3.2-databricks 升级到 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime 已从 3.3.2 升级到 3.3.4
  • org.apache.orc.orc-core 已从 1.7.5 升级到 1.7.6
  • org.apache.orc.orc-mapreduce 已从 1.7.5 升级到 1.7.6
  • org.apache.orc.orc-shims 已从 1.7.5 升级到 1.7.6
  • org.apache.parquet.parquet-column 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet 已从 2.34 升级到 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-client 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-common 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-server 已从 2.34 升级到 2.36
  • org.glassfish.jersey.inject.jersey-hk2 已从 2.34 升级到 2.36

Databricks Runtime 11.3 LTS 包括 Apache Spark 3.3.0。 此版本包括所有 Spark 修复和改进

包含在 Databricks Runtime 11.2 （EoS）中，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-39957] [WARMFIX][sc-111425][CORE] 延迟 onDisconnected，以使驱动程序能够接收 ExecutorExitCode
• [SPARK-39955] [ WARMFIX][sc-111424][CORE] 改进 LaunchTask 进程，以避免因发送 LaunchTask 消息失败而导致的阶段性故障
• [SPARK-40474] [ SC-106248][cherry-pick] 更正日期时间列的 CSV 架构推理行为，并为日期字段引入自动检测
• [SPARK-40535] [ SC-111243][sql] 修复了一个 bug，即如果输入行为空，则不会创建 AggregatingAccumulator 缓冲区。
• [SPARK-40434] [ SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] 在 PySpark 中实现 applyInPandasWithState
• [SPARK-40460] [ SC-110832][ss] 修复在选择时的流处理指标 _metadata
• [SPARK-40324] [ SC-109943][sql] 提供查询上下文 ParseException
• [SPARK-40466] [ SC-110899][ss] 在 DSv2 被禁用且 DSv1 不可用时改进错误消息
• [SPARK-40456] [ SC-110848][sql] PartitionIterator.hasNext 应该能够廉价地反复调用
• [SPARK-40169] [ SC-110772][sql] 不要下推没有引用数据架构的 Parquet 筛选器
• [SPARK-40467] [ SC-110759][ss] 将 FlatMapGroupsWithState 拆分为多个测试套件
• [SPARK-40468] [ SC-110813][sql] 修复在选择_corrupt_record时 CSV 中的列修剪问题
• [SPARK-40291] [ SC-110085][sql] 改进“列不在 GROUP BY 子句中的错误”消息
• [SPARK-40398] [ SC-110762][core][SQL] 使用循环代替 Arrays.stream API
• [SPARK-40433] [ SC-110684][ss][PYTHON] 在 PythonSQLUtils 中添加 toJVMRow，将选取的 PySpark 行转换为 JVM 行
• [SPARK-40414] [ SC-110568][sql][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更多泛型类型
• [SPARK-40352] [ SC-109945][sql] 添加函数别名：len、datepart、dateadd、date_diff 和 curdate
• [SPARK-40470] [ SC-110761][sql] 在“arrays_zip”函数中处理 GetArrayStructFields 和 GetMapValue
• [SPARK-40387] [ SC-110685][sql] 改进 Spark Decimal 的实现
• [SPARK-40429] [ SC-110675][sql] 仅在引用的列位于输出中时设置 KeyGroupedPartitioning
• [SPARK-40432] [ SC-110716][ss][PYTHON] 在 PySpark 中引入 GroupStateImpl 和 GroupStateTimeout
• [SPARK-39915] [ SC-110496][sql] 确保在 AQE 中输出分区是用户指定的
• [SPARK-29260] [SQL] 支持 ALTER DATABASE SET LOCATION（如果 HMS 支持）
• [SPARK-40185] [ SC-110056][sql] 当候选列表为空时删除列建议
• [SPARK-40362] [SC-110401][sql] 修复 BinaryComparison 规范化
• [SPARK-40411] [ SC-110381][ss] 重构 FlatMapGroupsWithStateExec 来添加父特性
• [SPARK-40293] [ SC-110084][sql] 使 V2 表错误消息更有意义
• [SPARK-38734] [SC-110383][sql] 删除错误类 INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] 修复从嵌套结构体中引用的数组时“arrays_zip”函数中的列名问题。
• [SPARK-40276] [ SC-109674][core] 减小 RDD.takeOrdered 的结果大小
• [SPARK-40197] [SC-109176][sql] 将查询计划替换为 MULTI_VALUE_SUBQUERY_ERROR 的上下文
• [SPARK-40300] [ SC-109942][sql] 迁移到 DATATYPE_MISMATCH 错误类
• [SPARK-40149] [ SC-110055][sql] 通过 Project 传播元数据列
• [SPARK-40280] [ SC-110146][sql] 添加对已批注 int 和 long 的 parquet 下推的支持
• [SPARK-40220] [ SC-110143][sc-109175][SQL] 不要输出错误消息参数的空映射
• [SPARK-40295] [SC-110070][sql] 允许在写分布/排序中使用字面参数的 v2 函数
• [SPARK-40156] [SC-109264][sql] url_decode() 是否应返回错误类
• [SPARK-39195] [SQL] 当提交的文件与任务状态不一致时，Spark OutputCommitCoordinator 应中止阶段
• [SPARK-40260] [ SC-109424][sql] 在 GROUP BY 位置的编译错误中使用错误类别
• [SPARK-40205] [SC-110144][sc-109082][SQL] 提供ELEMENT_AT_BY_INDEX_ZERO的查询上下文
• [SPARK-40112] [ SC-109676][sql] 改进 TO_BINARY（） 函数
• [SPARK-40209] [ SC-109081][sql] 不要更改错误时小数的 changePrecision() 间隔值
• [SPARK-40319] [SC-109873] [sql] 删除 "PARSE_DATETIME_BY_NEW_PARSER" 重复的查询执行错误方法
• [SPARK-40222] [ SC-109209][sql] 数值try_add/try_divide/try_subtract/try_multiply 应从其子节点抛出错误
• [SPARK-40183] [ SC-108907][sql] 对十进制转换中的溢出错误使用错误类NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40180] [ SC-109069][sql] 设置错误消息的格式 spark-sql
• [SPARK-40153] [ SC-109165][sql] 统一解析函数和表值函数
• [SPARK-40308] [ SC-109880][sql] 允许函数接受不可折叠的分隔符参数 str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] 解析的视图逻辑计划应保留架构，从而避免冗余查找
• [SPARK-40098] [ SC-109939][sc-108693][SQL] 设置 Thrift 服务器中的错误消息的格式
• [SPARK-39917] [ SC-109038][sql] 使用不同的错误类来处理数值/间隔算术溢出
• [SPARK-40033] [ SC-109875][sql] 对嵌套架构的修剪支持通过element_at实现
• [SPARK-40194] [ SC-109660][sql] 空正则表达式上的 SPLIT 函数应截断尾随空字符串。
• [SPARK-40228] [ SC-109835][sql] 请不要简化 multiLike，除非子表达式不是简单类型
• [SPARK-40039] [ SC-109896][sc-109260][SS] 引入基于 Hadoop 的 Abortable 接口的流式检查点文件管理器
• [SPARK-40285] [SC-109679][sql] 为 Spark 简化 roundTo[Numeric]Decimal
• [SPARK-39896] [ SC-109658][sql] 当 In/InSet 的字面值向下转换失败时，UnwrapCastInBinaryComparison 应该能够正常运行。
• [SPARK-40040] [ SC-109662][sql] 如果联接条件为空，请将本地限制推送到双方
• [SPARK-40055] [SC-109075][sql] 即使 spark_catalog 的实现为 defaultSessionCatalog，listCatalogs 也应返回 spark_catalog。
• [SPARK-39915] [ SC-109391][sql] Dataset.repartition（N） 可能不会创建 N 个分区非 AQE 部件
• [SPARK-40207] [ SC-109401][sql] 在数据源不支持数据类型时指定列名
• [SPARK-40245] [ SC-109295][sql] 修复在未读取分区或数据筛选列时的 FileScan 相等性检查
• [SPARK-40113] [ SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 接口实现
• [SPARK-40211] [ SC-109226][core][SQL] 允许在 take（） 行为中自定义初始分区编号
• [SPARK-40252] [SC-109379][sql] 替换为 Stream.collect(Collectors.joining)StringJoiner Api
• [SPARK-40247] [ SC-109272][sql] 修复 BitSet 相等性检查
• [SPARK-40067] [SQL] 使用 Table#name() 而不是 Scan#name() 在 SparkUI 的 BatchScan 节点中填充表名
• [SPARK-39966] [SQL] 在 SupportsDelete 中使用 V2 筛选器
• [SPARK-39607] [ SC-109268][sql][DSV2] 在编写过程中支持分发和排序的V2功能
• [SPARK-40224] [ SC-109271][sql] 使 ObjectHashAggregateExec 在回退到基于排序时急切地释放内存
• [SPARK-40013] [SQL] DS V2 表达式应具有默认的 toString
• [SPARK-40214] [SC-109079][python][SQL] 将“get”添加到函数
• [SPARK-40192] [ SC-109089][sql][ML] 删除冗余 groupby
• [SPARK-40146] [ SC-108694][sql] 简化获取映射值的代码生成
• [SPARK-40109] [SQL] 新 SQL 函数：get()
• [SPARK-39929] [SQL] DS V2 支持下推字符串函数（非 ANSI）
• [SPARK-39819] [SQL] DS V2 聚合下推可以与 Top N 或 Paging 一起使用（使用表达式排序）
• [SPARK-40213] [ SC-109077][sql] 支持对 Latin-1 字符进行 ASCII 值转换
• [SPARK-39887][SQL] RemoveRedundantAliases 应保留那些使投影节点的输出独一无二的别名
• [SPARK-39764] [SQL] 使 PhysicalOperation 与 ScanOperation 相同
• [SPARK-39964] [SQL] DS V2 下推应统一转换路径
• [SPARK-39528] [SQL] 在 SupportsRuntimeFiltering 中使用 V2 筛选器
• [SPARK-40066] [SQL] ANSI 模式：对映射列访问无效时始终返回 null
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] 禁用 DSv1 中的 Parquet 列索引，以修复分区和数据列重叠时的正确性问题
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令应打印限定函数名，如 v1
• [SPARK-39767] [SQL] 删除 UnresolvedDBObjectName，并添加 UnresolvedIdentifier
• [SPARK-40163] [ SC-108740][sql] 壮举： SparkSession.config（地图）
• [SPARK-40136] [SQL] 修复 SQL 查询上下文片段
• [SPARK-40107] [ SC-108689][sql] 将 empty2null 转换从 FileFormatWriter 中移除
• [SPARK-40121] [PYTHON][sql] 初始化用于 Python UDF 的映射
• [SPARK-40128] [SQL] 使 VectorizedColumnReader 将 DELTA_LENGTH_BYTE_ARRAY 识别为独立的列编码
• [SPARK-40132] [ML] 将 rawPredictionCol 还原为 MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] 增强EliminateSorts，以支持通过LocalLimit去除排序
• [SPARK-39629] [SQL] 支持 v2 SHOW FUNCTIONS
• [SPARK-39925] [ SC-108734][sql] 向 DataFrame 操作中添加 array_sort（列、比较器）重载
• [SPARK-40117] [ PYTHON][sql] 在 DataFrameWriterV2.overwrite 中将条件转换为 java
• [SPARK-40105] [SQL] 改进 ReplaceCTERefWithRepartition 中的重新分区
• [SPARK-39503] [SQL] 为 v1 数据库表和函数添加会话目录名
• [SPARK-39889] [SQL] 对除以 0 的数值/间隔使用不同的错误类
• [SPARK-39741] [SQL] 支持 url 编码/解码作为内置函数，并整理 url 相关函数
• [SPARK-40102] [SQL] 在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
• [SPARK-40014] [SQL] 支持将小数转换为 ANSI 间隔
• [SPARK-39776] [ SQL][follow] 在 ANSI 模式下更新 PlanStabilitySuite 的 UT
• [SPARK-39963] [SQL] 简化 SimplifyCasts.isWiderCast

请参阅 Databricks Runtime 11.3 维护更新。

• 操作系统：Ubuntu 20.04.5 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.21
• R：4.1.3
• Delta Lake：2.1.0

R 库安装自 2022-09-08 版本中的 Microsoft CRAN 快照。 快照不再可用。