Databricks Runtime 10.1 (EoS)

以下发行说明提供了由 Apache Spark 3.2.0 提供支持的 Databricks Runtime 10.1 和 Databricks Runtime 10.1 Photon 的相关信息。 Databricks 于 2021 年 11 月发布了这些映像。 Photon 处于公共预览版。

新增功能和改进

• 用于压缩小文件的新 Delta 表设置
• 用于 Parquet 查询扫描的新行组指标
• 用于 Delta 源流式处理查询的 Trigger.AvailableNow
• 用于自动加载程序的 Trigger.AvailableNow
• 针对通过 DataFrame 选项传递的 Hadoop 文件系统配置的 Delta 支持
• 有状态流式处理作业现在支持异步状态检查点（公共预览版）
• 具有凭据传递的 Sparklyr
• Databricks 实用工具数据汇总精准率控制（公共预览版）
• Azure Databricks 笔记本现可与 IPython 内核一起使用
• Spark SQL 中的新函数

用于压缩小文件的新 Delta 表设置

除了现有的 true 和 false 值之外，Delta 表属性 delta.autoOptimize.autoCompact 现在还接受 auto 和 legacy 的新值。 如果设置为 auto（建议），自动压缩将使用更好的默认值，例如将 32 MB 设置为目标文件大小（尽管默认行为将来可能会发生更改）。 如果设置为 legacy 或 true，自动压缩将使用 128 MB 作为目标文件大小。

可以将 spark.databricks.delta.autoCompact.enabled 配置设置为 auto、legacy 或 true，而不是为单个表设置此属性，以便为所有 Delta 表启用自动压缩。 在当前会话期间，此配置优先于相关的表属性。

可以使用 spark.databricks.delta.autoCompact.maxFileSize 配置控制自动压缩的目标文件大小。

有关自动压缩的详细信息，请参阅 Azure Databricks 上的 Delta Lake 的自动压缩。

用于 Parquet 查询扫描的新行组指标

具有 Parquet 扫描的查询现在会在 Spark UI 中显示行组指标。 这些行组指标包括：

• parquet 行组总数
• 读取的 parquet 行组数

用于 Delta 源流式处理查询的 Trigger.AvailableNow

此项更改支持对 Scala 中的增量源流式处理查询使用新类型的触发器：Trigger.AvailableNow。 它与 Trigger.Once 类似，会处理所有可用数据，然后停止查询。 但是，Trigger.AvailableNow 可提供更好的可伸缩性，因为数据可以分为多批（而不是一批）进行处理。 此更改未引入新接口；它实现现有 Spark API。 此触发器还支持 Delta 已支持作为源的所有速率限制选项。

例如：

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

请在什么是自动加载程序？中查看 Trigger.AvailableNow 的覆盖范围。

用于自动加载程序的 Trigger.AvailableNow

Trigger.AvailableNow 是类似于 Trigger.Once 的新流式处理触发器模式。 Trigger.Once 会处理所有可用数据，然后停止查询。 Trigger.AvailableNow 具有更好的可伸缩性，因为数据可以分为多批（而不是一批）进行处理。 现在，自动加载程序在 Scala 的目录列表和文件通知模式下都支持 Trigger.AvailableNow。 请在什么是自动加载程序？中查看 Trigger.AvailableNow 的覆盖范围。

针对通过 DataFrame 选项传递的 Hadoop 文件系统配置的 Delta 支持

与 Parquet 类似，Delta 现在支持在读取或写入表时，使用 DataFrameReader.load(path) 或 DataFrameWriter.save(path) 从 DataFrameReader 和 DataFrameWriter 选项读取 Hadoop 文件系统配置。 请参阅配置 Delta 存储凭据。

有状态流式处理作业现在支持异步状态检查点（公共预览版）

异步状态检查点是一种新功能，它可能会减少具有大量状态更新的有状态流式处理作业中的端到端微批延迟。 有关用于有状态查询的异步状态检查点。

具有凭据传递的 Sparklyr

现在，可以通过凭据传递，使用 sparklyr API 对云存储读取和写入数据。 此功能仅限于具有单用户访问权限的标准群集。 请参阅使用 Microsoft Entra ID 凭据直通访问 Azure Data Lake Storage（旧版）。

Databricks 实用工具数据汇总精准率控制（公共预览版）

dbutils.data.summarize 的新 precise 参数可控制汇总结果的精确率。 当 precise 设置为 false（默认值）时，汇总会返回非重复计数、百分位和频繁项计数的近似结果。 当 precise 设置为 true 时，现在使用精确非重复计数和频繁项计数来计算汇总，具有更精确的百分位估计值。 请参阅 summarize 命令 (dbutils.data.summarize)。

Azure Databricks 笔记本现可与 IPython 内核一起使用

现可将 Azure Databricks 群集配置为使用 IPython 内核来执行 Python 代码。 在 Azure Databricks 上使用 IPython 内核，可增加对 IPython 的显示和输出工具的支持。 此外，IPython 内核捕获由笔记本创建的子进程 stdout 和 stderr 输出，从而允许该输出包含在笔记本的命令结果中。

有关详细信息，请参阅 IPython 内核。

Spark SQL 中的新函数

添加了以下对象和命令，用于处理 Unity Catalog（预览版）中的数据：

• 外部位置
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• CREATE LOCATION
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCRIBE LOCATION
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• SHOW LOCATIONS
• USE CATALOG

已为 Delta Sharing（预览版）添加了以下命令，通过这些命令，你可以与组织外部的收件人共享只读数据：

• 共享
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT SHARE
• REVOKE SHARE
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Bug 修复

• 修复了一个争用条件，它可能会导致查询失败并出现 IOException（例如 No FileSystem for scheme），或是导致对 sparkContext.hadoopConfiguration 进行修改以便在查询中不会生效。

库升级

• 升级了 Python 库：
  • filelock 从 3.0.12 到 3.3.1
  • koalas 从 1.8.1 到 1.8.2
  • plotly 从 5.1.0 到 5.3.0
• 升级了 R 库：
  • bslib 从 0.3.0 到 0.3.1
  • caret 从 6.0-88 到 6.0-90
  • cpp11 从 0.3.1 到 0.4.0
  • data.table 从 1.14.0 到 1.14.2
  • desc 从 1.3.0 到 1.4.0
  • diffobj 从 0.3.4 到 0.3.5
  • digest 从 0.6.27 到 0.6.28
  • generics 从 0.1.0 到 0.1.1
  • hms 从 1.1.0 到 1.1.1
  • knitr 从 1.34 到 1.36
  • lattice 从 0.20-44 升级到 0.20-45
  • lifecycle 从 1.0.0 到 1.0.1
  • lubridate 从 1.7.10 到 1.8.0
  • mgcv 从 1.8-37 到 1.8-38
  • mime 从 0.11 到 0.12
  • pkgload 从 1.2.2 到 1.2.3
  • progressr 从 0.8.0 到 0.9.0
  • rcmdcheck 从 1.3.3 到 1.4.0
  • readr 从 2.0.1 到 2.0.2
  • recipes 从 0.1.16 到 0.1.17
  • remotes 从 2.4.0 到 2.4.1
  • rlang 从 0.4.11 到 0.4.12
  • rvest 从 1.0.1 到 1.0.2
  • shiny 从 1.6.0 到 1.7.1
  • stringi 从 1.7.4 到 1.7.5
  • testthat 从 3.0.4 到 3.1.0
  • tidyr 从 1.1.3 到 1.1.4
  • tinytex 从 0.33 到 0.34
  • usethis 从 2.0.1 到 2.1.2
  • xfun 从 0.26 到 0.27
• 升级了 Java 库：
  • com.zaxxer.HikariCP 从 3.1.0 到 4.0.3

Apache Spark

Databricks Runtime 10.1 包括 Apache Spark 3.2.0。 此版本包括 Databricks Runtime 10.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-37037] [SQL] 通过 UTF8String 和 ByteArray 的统一 compareTo 函数改进了字节数组排序
• [SPARK-37091] [R] SystemRequirements 包含 Java < 18
• [SPARK-37041] [SQL] 后端 HIVE-15025：对 HMS 的安全套接字层 (SSL) 支持
• [SPARK-37098] [SQL] 更改表属性应使缓存失效
• [SPARK-36992] [SQL] 通过 UTF8String 和 ByteArray 的统一 getPrefix 函数改进了字节数组排序性能
• [SPARK-37047] [SQL] 为二进制字符串添加了 lpad 和 rpad 函数
• [SPARK-37076] [SQL] 为 Scala 2.13 显式实现 StructType.toString
• [SPARK-37075] [SQL] 将 UDAF 表达式生成从 sql/catalyst 移动到 sql/core
• [SPARK-37084] [SQL] 将 spark.sql.files.openCostInBytes 设置为 bytesConf
• [SPARK-37088] [PYSPARK][SQL] 写入器线程在任务完成侦听器返回后不得访问输入
• [SPARK-37069] [SQL] 在 Hive.getWithoutRegisterFns 不可用时正确回退
• [SPARK-37050] [PYTHON] 更新 Conda 安装说明
• [SPARK-37067] [SQL] 使用 ZoneId.of() 处理 DatetimeUtils 中的时区字符串
• [SPARK-35925] [SQL] 支持 width-bucket 函数中的 DayTimeIntervalType
• [SPARK-35926] [SQL] 为 width_bucket 添加支持 YearMonthIntervalType
• [SPARK-35973] [SQL] 添加命令 SHOW CATALOGS
• [SPARK-36922] [SQL] SIGN/SIGNUM 函数应支持 ANSI 间隔
• [SPARK-37078] [CORE] 支持旧的 3 参数接收器构造函数
• [SPARK-37061] [SQL] 在使用内部类时修复 CustomMetrics
• [SPARK-35918] [AVRO] 统一了针对读/写的架构不匹配处理并增强了错误消息
• [SPARK-36871] [SQL] 将 CreateViewStatement 迁移到 v2 命令
• [SPARK-36898] [SQL] 使随机哈希联接因子可配置
• [SPARK-36921] [SQL] 通过 DIV 支持 ANSI 间隔
• [SPARK-36794] [SQL] 为 SEMI/ANTI 随机哈希联接生成关系时忽略重复的联接键
• [SPARK-36867] [SQL] 修复与 GROUP BY 别名有关的错误消息
• [SPARK-36914] [SQL] 在 JDBC 中实现 dropIndex 和 listIndexes（MySQL 方言）
• [SPARK-35531] [SQL] 在调用 getPartitions 时将 hive 表直接传递给 HiveClient，以避免进行 HiveTable -> CatalogTable - -> HiveTable 的不必要转换
• [SPARK-36718] [SQL] 仅在不复制成本高昂的表达式时才折叠项目
• [SPARK-37046] [SQL]：更改视图不保留列大小写
• [SPARK-36978] [SQL] InferConstraints 规则应对访问的嵌套字段（而不是根嵌套类型）创建 IsNotNull 约束
• [SPARK-37052] [CORE] 在为 sql shell 时，Spark 应仅将 -verbose 参数传递给主类
• [SPARK-37017] [SQL] 减小同步范围以防止潜在的死锁
• [SPARK-37032] [SQL] 修复 SQL 参考页面中的中断 SQL 语法链接
• [SPARK-36905] [SQL] 修复在没有显式列名的情况下读取 hive 视图
• [SPARK-36678] 迁移 SHOW TABLES 以在默认情况下使用 V2 命令
• [SPARK-36943] [SQL] 改善缺少列错误消息的可读性
• [SPARK-36980] [SQL] 使用 CTE 插入支持查询
• [SPARK-37001] [SQL] 默认情况下对最终哈希聚合禁用两个级别的映射
• [SPARK-36970] [SQL] 手动禁用 date_format 函数的格式 B，使 Java 17 与 Java 8 兼容
• [SPARK-36546] [SQL] 添加数组支持以便可按名称进行联合
• [SPARK-36979] [SQL] 将 RewriteLateralSubquery 规则添加到 nonExcludableRules 中
• [SPARK-36949] [SQL] 禁止具有 ANSI 间隔的 Hive 提供程序表
• [SPARK-36849] [SQL] 将 UseStatement 迁移到 v2 命令框架
• [SPARK-36868] [SQL] 将 CreateFunctionStatement 迁移到 v2 命令框架
• [SPARK-36841] [SQL] 添加 ansi 语法 set catalog xxx 以更改当前目录
• [SPARK-36821] [SQL] 使类 ColumnarBatch 可扩展 - 附录
• [SPARK-36963] [SQL] 将 max_by/min_by 添加到 sql.functions
• [SPARK-36913] [SQL] 在 DS V2 JDBC 中实现 createIndex 和 IndexExists（MySQL 方言）
• [SPARK-36848] [SQL] 将 ShowCurrentNamespaceStatement 迁移到 v2 命令框架
• [SPARK-36526] [SQL] DSV2 索引支持：添加 supportsIndex 接口
• [SPARK-36960] [SQL] 将具有 ANSI 间隔值的筛选器下推到 ORC
• [SPARK-36929] [SQL] 删除未使用的方法 EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] 支持对 ORC 数据源读取和写入 ANSI 间隔
• [SPARK-34980] [SQL] 支持在 AQE 中通过联合实现联合分区
• [SPARK-36809] [SQL] 对 DPP 中使用的 InSubqueryExec 删除广播
• [SPARK-36813] [SQL][PYTHON] 提出 as-of 联接的基础结构并实现 ps.merge_asof
• [SPARK-36918] [SQL] 比较 unionByName 的结构时忽略类型
• [SPARK-36891] [SQL] 重构 SpecificParquetRecordReaderBase 并对矢量化 Parquet 解码添加更多覆盖范围
• [SPARK-36920] [SQL] 通过 ABS() 支持 ANSI 间隔
• [SPARK-36888] [SQL] 为 sha2 函数添加测试用例
• [SPARK-36889] [SQL] 通过 v2 parquet 扫描生成器遵循 spark.sql.parquet.filterPushdown
• [SPARK-36830] [SQL] 支持对 JSON 数据源读取和写入 ANSI 间隔
• [SPARK-36870] [SQL] 引入 INTERNAL_ERROR 错误类
• [SPARK-36831] [SQL] 支持对 CSV 数据源读取和写入 ANSI 间隔。
• [SPARK-36550] [SQL] 在 UDF 反射失败时传播原因
• [SPARK-36866] [SQL] 将具有 ANSI 间隔值的筛选器下推到 parquet
• [SPARK-33832] [SQL] 强制倾斜联接代码简化和改进
• [SPARK-36642] [SQL] 添加 df.withMetadata pyspark API
• [SPARK-35765] [SQL] 非重复聚合不区分重复项
• [SPARK-36825] [SQL] 对 parquet 文件读取/写入具有 ANSI 间隔的数据帧
• [SPARK-36829] [SQL] 重构 collectionOperators 的 NULL 检查
• [SPARK-32712] [SQL] 支持写入 Hive Bucket 表（具有 Hive 哈希的 Hive 文件格式）
• [SPARK-36797] [SQL] Union 应将嵌套列解析为顶级列
• [SPARK-36838] [SQL] 改进 InSet 生成的代码性能
• [SPARK-36683] [SQL] 添加新的内置 SQL 函数：SEC 和 CSC
• [SPARK-36721] [SQL] 如果一端是文本，则简化布尔相等性
• [SPARK-36760] [SQL] 添加接口 SupportsPushDownV2Filters
• [SPARK-36652] [SQL] AQE 动态联接选择不应该应用于非等值联接
• [SPARK-36745] [SQL] ExtractEquiJoinKeys 应对联接键返回原始谓词
• [SPARK-36107] [SQL] 重构第一组 20 个查询执行错误以使用错误类
• [SPARK-32709] [SQL] 支持写入 Hive Bucket 表（具有 Hive 哈希的 Parquet/ORC 格式）
• [SPARK-36735] [SQL] 为 DPP 调整缓存关系的开销
• [SPARK-33832] [SQL] 支持优化倾斜联接，即使引入了额外随机
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec 应使用所有条件而不是非等值条件
• [SPARK-35221] [SQL] 添加对支持的联接提示的检查
• [SPARK-36814] [SQL] 使类 ColumnarBatch 可扩展
• [SPARK-36663] [SQL] 支持 ORC 数据源中的仅数字列名
• [SPARK-36751] [SQL][PYTHON][R] 将 bit/octet_length API 添加到 Scala、Python 和 R
• [SPARK-36733] [SQL] 修复结构具有多个字段时 SchemaPruning 中的性能问题
• [SPARK-36724] [SQL] 支持timestamp_ntz 作为 SessionWindow 的时间列类型
• [SPARK-36556] [SQL] 添加 DSV2 筛选器
• [SPARK-36687] [SQL][CORE] 使用 _ERROR 后缀重命名错误类
• [SPARK-35803] [SQL] 支持数据源 V2 CreateTempViewUsing
• [SPARK-36642] [SQL] 添加 df.withMetadata：用于更新数据帧元数据的语法 suger

维护更新

请参阅 Databricks Runtime 10.1 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.3 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.8.10
• R：4.1.1
• Delta Lake：1.0.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2021-10-26 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）