Databricks Runtime 11.3 LTS

以下发行说明提供了由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.3 LTS 的相关信息。 Databricks 于 2022 年 10 月发布了此版本。

为了应用所需的安全修补程序，Databricks Runtime 11.3 LTS 中的 Python 版本从 3.9.5 升级到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此将 Databricks Connect V1 for Python 与 Databricks Runtime 11.3 LTS 配合使用的任何客户端都必须更新为 Python 3.9.7 或更高版本。

• 弃用结构化流式处理触发一次
• 更改自动加载程序的源路径
• Databricks Kinesis 连接器现在支持在 EFO 模式下从 Kinesis 数据流读取
• 新增了 H3 地理空间函数并为所有 H3 函数添加了 Photon 支持
• 预测性 I/O 的新功能
• 为选择性查询增加了可扫描的初始分区数
• 新的 AQE 计划版本可视化
• 新的异步进程跟踪和日志清除模式
• Unity Catalog 上的结构化流现在支持 display()
• 管道事件现以 JSON 格式记录
• 使用 Python 在结构化流中进行任意有状态处理
• CSV 文件中的日期推理
• 对 Apache Parquet 和 Apache Iceberg 表的克隆支持（公共预览版）
• 使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置

Trigger.Once 设置已弃用。 Databricks 建议你使用 Trigger.AvailableNow。 请参阅配置结构化流式处理触发器间隔。

现在可以更改配置为目录列表模式的自动加载程序的目录输入路径，而无需选择新的检查点目录。 请参阅更改自动加载程序的源路径。

现在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 结构化流式传输源，以运行查询在增强的扇出模式下从 Kinesis 数据流读取。 这样就可以在推送模式下为每个分片、每个使用者和记录传送提供专用吞吐量。

引入了 4 个新的 H3 函数：h3_maxchild、h3_minchild、h3_pointash3 和 h3_pointash3string。 这些函数在 SQL、Scala 和 Python 中可用。 Photon 现在支持所有 H3 表达式。 请参阅 H3 地理空间函数。

Photon 支持在运行帧时使用范围模式（使用 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW）。 Photon 还支持在增大帧时使用范围模式（使用 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }）。

要扫描的初始分区的值已增加到 10，以便在启用了 Photon 的群集中使用 take/tail/limit，在 Databricks SQL 中使用 LIMIT 进行选择性查询。 使用 10 个分区可以避免启动多个小型作业产生的开销和纵向扩展速度变慢。 还可以通过 spark.sql.limit.selectiveInitialNumPartitions 配置此值。

引入 AQE 计划版本，可用于可视化自适应查询执行 (AQE) 中的运行时计划更新。

引入称为异步进程跟踪和异步日志清除的结构化流模式。 异步日志清除模式通过在后台删除用于进程跟踪的日志来降低流式处理查询的延迟。

现在，借助结构化流处理在 Unity Catalog 中注册的表时，可以使用 display()。

Azure Databricks 现以 JSON 格式将管道事件写入驱动程序日志。 虽然每个事件都是 JSON 可分析的，但大型事件可能不包含所有字段，或者字段可能会被截断。 每个事件都记录在带有前缀 Event received: 的单行中。 以下是一个示例事件。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

引入可用于在 PySpark 中执行任意有状态处理的 applyInPandasWithState 函数。 这相当于 Java API 中的 flatMapGroupsWithState 函数。

在 CSV 文件中引入改进的日期类型列的推理。 当列的记录中的日期格式一致时，可以将这些列推断为 DateType。 还可以跨不同列组合日期格式。 Azure Databricks 可以自动推理每一列的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 文件中的日期列保留为 StringType。

克隆现在可用于创建和增量更新 Delta 表，该表反映了 Apache Parquet 表和 Apache Iceberg 表。 可以更新源 Parquet 表，并使用 clone 命令将更改增量应用到其克隆的 Delta 表。 请参阅将 Parquet 表和 Iceberg 表增量克隆到 Delta Lake。

现在，可以使用 MANAGED LOCATION SQL 命令为托管表指定目录级和架构级的云存储位置。 请参阅 CREATE CATALOG 和 CREATE SCHEMA。

现在支持 Databricks Connect 客户端更新 11.3.2。 请参阅 Databricks Connect 和 Databricks Connect 发行说明。

Azure Databricks Snowflake 连接器已更新为开源存储库适用于 Apache Spark 的 Snowflake 数据源中的最新代码版本。 它现在与 Databricks Runtime 11.3 LTS 完全兼容，包括谓词下推和内部查询计划下推，同时保持开源版本的所有功能。

S3A 的 Hadoop 缓存 (FileSystem Apache Hadoop Main 3.3.4 API) 现已禁用。 这是为了与其他云存储连接器保持一致。 对于依赖文件系统缓存的工作负载，请确保为新创建的文件系统提供正确的 Hadoop 配置，包括凭据提供程序。

此更改解决了 Delta Lake 协议中的一个 bug，即由于 DataFrame 和表列排序不匹配，无法在其中收集列的统计信息。 在某些情况下，可能会由于在以前未跟踪的字段中收集统计信息而出现写入性能下降的情况。 请参阅 Delta Lake 的跳过数据。

如果在执行运算符之后，查询出现 shuffle，运算符 applyInPandasWithState 会引发错误。 当用户在操作后添加 shuffle，或者优化器或接收器隐式添加 shuffle 时，就会发生这种情况。

• 升级了 Python 库：
  • distlib 已从 0.3.5 升级到 0.3.6
• 升级了 R 库：
  • broom 已从 1.0.0 升级到 1.0.1
  • callr 已从 3.7.1 升级到 3.7.2
  • dplyr 已从 1.0.9 升级到 1.0.10
  • dtplyr 已从 1.2.1 升级到 1.2.2
  • forcats 已从 0.5.1 升级到 0.5.2
  • future 已从 1.27.0 升级到 1.28.0
  • future.apply 已从 1.9.0 升级到 1.9.1
  • gert 已从 1.7.0 升级到 1.8.0
  • globals 已从 0.16.0 升级到 0.16.1
  • gtable 已从 0.3.0 升级到 0.3.1
  • haven 已从 2.5.0 升级到 2.5.1
  • hms 已从 1.1.1 升级到 1.1.2
  • httr 已从 1.4.3 升级到 1.4.4
  • knitr 已从 1.39 升级到 1.40
  • modelr 已从 0.1.8 升级到 0.1.9
  • pillar 已从 1.8.0 升级到 1.8.1
  • progressr 已从 0.10.1 升级到 0.11.0
  • readxl 已从 1.4.0 升级到 1.4.1
  • reprex 已从 2.0.1 升级到 2.0.2
  • rlang 已从 1.0.4 升级到 1.0.5
  • rmarkdown 已从 2.14 升级到 2.16
  • RSQLite 已从 2.2.15 升级到 2.2.16
  • rstudioapi 已从 0.13 升级到到 0.14
  • rversions 已从 2.1.1 升级到 2.1.2
  • rvest 已从 1.0.2 升级到 1.0.3
  • scales 已从 1.2.0 升级到 1.2.1
  • sparklyr 已从 1.7.7 升级到 1.7.8
  • stringr 已从 1.4.0 升级到 1.4.1
  • survival 已从 3.2-13 升级到 3.4-0
  • tinytex 已从 0.40 升级到 0.41
  • viridisLite 已从 0.4.0 升级到 0.4.1
• 升级了 Java 库：
  • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.core.jackson-core 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.core.jackson-databind 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.3 升级到 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.3 升级到 2.13.4
  • org.apache.hadoop.hadoop-client-api 已从 3.3.2-databricks 升级到 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime 已从 3.3.2 升级到 3.3.4
  • org.apache.orc.orc-core 已从 1.7.5 升级到 1.7.6
  • org.apache.orc.orc-mapreduce 已从 1.7.5 升级到 1.7.6
  • org.apache.orc.orc-shims 已从 1.7.5 升级到 1.7.6
  • org.apache.parquet.parquet-column 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet 已从 2.34 升级到 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-client 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-common 已从 2.34 升级到 2.36
  • org.glassfish.jersey.core.jersey-server 已从 2.34 升级到 2.36
  • org.glassfish.jersey.inject.jersey-hk2 已从 2.34 升级到 2.36

Databricks Runtime 11.3 LTS 包括 Apache Spark 3.3.0。 此版本包括 Databricks Runtime 11.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：

• [SPARK-39957] [WARMFIX][SC-111425][CORE] 延迟 onDisconnected 使驱动程序接收 ExecutorExitCode
• [SPARK-39955] [WARMFIX][SC-111424][CORE] 改进 LaunchTask 进程，避免 LaunchTask 消息发送失败导致阶段失败
• [SPARK-40474] [SC-106248][Cherry-Pick] 更正日期/时间列的 CSV 架构推理行为，并为日期字段引入自动检测
• [SPARK-40535] [SC-111243][SQL] 修复 bug，即输入行为空时，无法创建 AggregatingAccumulator 的缓冲区
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] 在 PySpark 中实现 applyInPandasWithState
• [SPARK-40460] [SC-110832][SS] 选择 _metadata 时修复流式处理指标
• [SPARK-40324] [SC-109943][SQL] 提供 ParseException 的查询上下文
• [SPARK-40466] [SC-110899][SS] 完善了当 DSv1 不可用的情况下禁用 DSv2 时显示的错误消息
• [SPARK-40456] [SC-110848][SQL] 重复调用 PartitionIterator.hasNext 应该很便宜
• [SPARK-40169] [SC-110772][SQL] 不会下推不引用数据架构的 Parquet 筛选器
• [SPARK-40467] [SC-110759][SS] 已将 FlatMapGroupsWithState 拆分为多个测试套件
• [SPARK-40468] [SC-110813][SQL] 在选择 _corrupt_record 时修复在 CSV 中删除的列
• [SPARK-40291] [SC-110085][SQL] 改写列不在 group by 子句中的错误消息
• [SPARK-40398] [SC-110762][CORE][SQL] 使用循环，而不是 Arrays.stream api
• [SPARK-40433] [SC-110684][SS][PYTHON] 在 PythonSQLUtils 中添加 toJVMRow，用于将 pickle PySpark 行转换为 JVM 行
• [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更泛型的类型
• [SPARK-40352] [SC-109945][SQL] 添加函数别名：len、datepart、dateadd、date_diff 和 curdate
• [SPARK-40470] [SC-110761][SQL] 在“arrays_zip”函数中处理 GetArrayStructFields 和 GetMapValue
• [SPARK-40387] [SC-110685][SQL] 改进 Spark Decimal 的实现
• [SPARK-40429] [SC-110675][SQL] 仅当引用的列在输出中时才设置 KeyGroupedPartitioning
• [SPARK-40432] [SC-110716][SS][PYTHON] 在 PySpark 中引入 GroupStateImpl 和 GroupStateTimeout
• [SPARK-39915] [SC-110496][SQL] 确保输出分区是用户在 AQE 中指定的
• [SPARK-29260] [SQL] 支持 ALTER DATABASE SET LOCATION（如果 HMS 支持）
• [SPARK-40185] [SC-110056][SQL] 当候选列表为空时，删除列建议
• [SPARK-40362] [SC-110401][SQL] 修复 BinaryComparison 标准化
• [SPARK-40411] [SC-110381][SS] 重构 FlatMapGroupsWithStateExec 以具有父特征
• [SPARK-40293] [SC-110084][SQL] 使 V2 表的错误消息更有意义
• [SPARK-38734] [SC-110383][SQL] 删除错误类 INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] 修复从嵌套结构中引用数组时“arrays_zip”函数中的列名
• [SPARK-40276] [SC-109674][CORE] 减小 RDD.takeOrdered 的结果大小
• [SPARK-40197] [SC-109176][SQL] 将查询计划替换为 MULTI_VALUE_SUBQUERY_ERROR 的上下文
• [SPARK-40300] [SC-109942][SQL] 迁移到 DATATYPE_MISMATCH 错误类
• [SPARK-40149] [SC-110055][SQL] 通过 Project 传播元数据列
• [SPARK-40280] [SC-110146][SQL] 为批注的 int 和 long 添加对 parquet 下推的支持
• [SPARK-40220] [SC-110143][SC-109175][SQL] 不输出错误消息参数的空映射
• [SPARK-40295] [SC-110070][SQL] 允许在写入分布/排序中使用包含文本参数的 v2 函数
• [SPARK-40156] [SC-109264][SQL] url_decode() 应返回错误类
• [SPARK-39195] [SQL] 当提交的文件与任务状态不一致时，Spark OutputCommitCoordinator 应中止阶段
• [SPARK-40260] [SC-109424][SQL] 在按位置进行分组的编译错误中使用错误类
• [SPARK-40205] [SC-110144][SC-109082][SQL] 提供 ELEMENT_AT_BY_INDEX_ZERO 的查询上下文
• [SPARK-40112] [SC-109676][SQL] 改进 TO_BINARY() 函数
• [SPARK-40209] [SC-109081][SQL] 出错时不更改 changePrecision() 中十进制值的间隔值
• [SPARK-40319] [SC-109873][SQL] 删除 PARSE_DATETIME_BY_NEW_PARSER 的重复查询执行错误方法
• [SPARK-40222] [SC-109209][SQL] 数值 try_add/try_divide/try_subtract/try_multiply 应从其子级处引发错误
• [SPARK-40183] [SC-108907][SQL] 对十进制转换中的溢出使用错误类 NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40180] [SC-109069][SQL] 通过 spark-sql 格式化错误消息
• [SPARK-40153] [SC-109165][SQL] 统一解析函数和表值函数
• [SPARK-40308] [SC-109880][SQL] 允许 str_to_map 函数使用不可折叠的分隔符参数
• [SPARK-40219] [SC-110052][SC-109663][SQL] 已解决视图逻辑计划应保留架构，从而避免冗余查找
• [SPARK-40098] [SC-109939][SC-108693][SQL] 格式化 Thrift 服务器中的错误消息
• [SPARK-39917] [SC-109038][SQL] 对数值/间隔算术溢出使用不同的错误类
• [SPARK-40033] [SC-109875][SQL] 借助 element_at 的嵌套架构删除支持
• [SPARK-40194] [SC-109660][SQL] 空正则表达式上的 SPLIT 函数应截断尾随的空字符串。
• [SPARK-40228] [SC-109835][SQL] 如果子级不是低开销表达式，则不简化 multiLike
• [SPARK-40039] [SC-109896][SC-109260][SS] 引入基于 Hadoop 可中止接口的流式处理检查点文件管理器
• [SPARK-40285] [SC-109679][SQL] 简化 Spark Decimal 的 roundTo[Numeric]
• [SPARK-39896] [SC-109658][SQL] 当 In/InSet 的文本向下转换失败时，UnwrapCastInBinaryComparison 应正常工作
• [SPARK-40040] [SC-109662][SQL] 如果联接条件为空，会向双方推送本地限制
• [SPARK-40055] [SC-109075][SQL] 即使 spark_catalog 实现是 defaultSessionCatalog，listCatalogs 也应返回 spark_catalog
• [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) 可能无法创建 N 个分区的非 AQE 部件
• [SPARK-40207] [SC-109401][SQL] 数据源不支持数据类型时，指定列名
• [SPARK-40245] [SC-109295][SQL] 未读取分区或数据筛选列时，修复 FileScan 同等性检查
• [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 接口实现
• [SPARK-40211] [SC-109226][CORE][SQL] 允许在 take() 行为中自定义初始分区号
• [SPARK-40252] [SC-109379][SQL] 将 Stream.collect(Collectors.joining) 替换为 StringJoiner Api
• [SPARK-40247] [SC-109272][SQL] 修复 BitSet 同等性检查
• [SPARK-40067] [SQL] 使用 Table#name() 而不是 Scan#name() 在 SparkUI 的 BatchScan 节点中填充表名
• [SPARK-39966] [SQL] 在 SupportsDelete 中使用 V2 筛选器
• [SPARK-39607] [SC-109268][SQL][DSV2] 分布和排序支持写入中的 V2 函数
• [SPARK-40224] [SC-109271][SQL] 使 ObjectHashAggregateExec 在回退到基于排序时立即释放内存
• [SPARK-40013] [SQL] DS V2 表达式应具有默认的 toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] 向函数添加“get”
• [SPARK-40192] [SC-109089][SQL][ML] 删除多余的 groupby
• [SPARK-40146] [SC-108694][SQL] 轻松获取映射值的 codegen
• [SPARK-40109] [SQL] 新 SQL 函数：get()
• [SPARK-39929] [SQL] DS V2 支持下推字符串函数（非 ANSI）
• [SPARK-39819] [SQL] DS V2 聚合下推可以与 Top N 或 Paging 一起使用（使用表达式排序）
• [SPARK-40213] [SC-109077][SQL] 支持 Latin-1 字符的 ASCII 值转换
• [SPARK-39887][SQL] RemoveRedundantAliases 应保留那些使投影节点的输出独一无二的别名
• [SPARK-39764] [SQL] 使 PhysicalOperation 与 ScanOperation 相同
• [SPARK-39964] [SQL] DS V2 下推应统一转换路径
• [SPARK-39528] [SQL] 在 SupportsRuntimeFiltering 中使用 V2 筛选器
• [SPARK-40066] [SQL] ANSI 模式：对映射列访问无效时始终返回 null
• [SPARK-39912] [SPARK-39828][SQL] 优化 CatalogImpl
• [SPARK-39833] [SC-108736][SQL] 在 DSv1 中禁用 Parquet 列索引，在分区和数据列重叠的情况下可用于解决正确性问题
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令应打印限定函数名，如 v1
• [SPARK-39767] [SQL] 删除 UnresolvedDBObjectName，并添加 UnresolvedIdentifier
• [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] 修复 SQL 查询上下文片段
• [SPARK-40107] [SC-108689][SQL] 从 FileFormatWriter 中拉取 empty2null 转换
• [SPARK-40121] [PYTHON][SQL] 初始化用于 Python UDF 的投影
• [SPARK-40128] [SQL] 使 VectorizedColumnReader 将 DELTA_LENGTH_BYTE_ARRAY 识别为独立的列编码
• [SPARK-40132] [ML] 将 rawPredictionCol 还原为 MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][SQL] 增强 EliminateSorts 以支持通过 LocalLimit 删除排序
• [SPARK-39629] [SQL] 支持 v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][SQL] 将 array_sort(column,comparator) 重载添加到 DataFrame 操作
• [SPARK-40117] [PYTHON][SQL] 在 DataFrameWriterV2.overwrite 中将条件转换为 java
• [SPARK-40105] [SQL] 改进 ReplaceCTERefWithRepartition 中的重新分区
• [SPARK-39503] [SQL] 为 v1 数据库表和函数添加会话目录名
• [SPARK-39889] [SQL] 对除以 0 的数值/间隔使用不同的错误类
• [SPARK-39741] [SQL] 支持 url 编码/解码作为内置函数，并整理 url 相关函数
• [SPARK-40102] [SQL] 在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
• [SPARK-40014] [SQL] 支持将小数转换为 ANSI 间隔
• [SPARK-39776] [SQL][FOLLOW] 在 ANSI 模式下更新 PlanStabilitySuite 的 UT
• [SPARK-39963] [SQL] 简化 SimplifyCasts.isWiderCast

请参阅 Databricks Runtime 11.3 维护更新。

• 操作系统：Ubuntu 20.04.5 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.19
• R：4.1.3
• Delta Lake：2.1.0

R 库安装自 2022-09-08 版本中的 Microsoft CRAN 快照。