Databricks Runtime 10.1 （EoL）

以下发行说明提供了由 Apache Spark 3.2.0 提供支持的 Databricks Runtime 10.1 和 Databricks Runtime 10.1 Photon 的相关信息。 Databricks 于 2021 年 11 月发布此版本。 Photon 处于公共预览版。

新增功能和改进

• 用于压缩小文件的新 Delta 表设置
• 用于 Parquet 查询扫描的新的行组指标
• 用于 Delta 源流式处理查询的 Trigger.AvailableNow
• 用于自动加载程序的 Trigger.AvailableNow
• 为通过 DataFrame 选项传递的 Hadoop 文件系统配置提供 Delta 支持
• 有状态流式处理作业现在支持异步状态检查点（公共预览版）
• 具有凭证透传的 Sparklyr
• Databricks 工具数据汇总精度控制（公共预览版）
• Azure Databricks 笔记本现可与 IPython 内核一起使用
• Spark SQL 中的新函数

用于压缩小文件的新 Delta 表设置

除了现有的 delta.autoOptimize.autoCompact 和 auto 值之外，Delta 表属性 legacy 现在还接受 true 和 false 的新值。 如果设置为 auto（建议），自动压缩将使用更好的默认值，例如将 32 MB 设置为目标文件大小（尽管默认行为将来可能会发生更改）。 如果设置为 legacy 或 true，自动压缩将使用 128 MB 作为目标文件大小。

可以将 spark.databricks.delta.autoCompact.enabled 配置设置为 auto、legacy 或 true，而不是为单个表设置此属性，以便为所有 Delta 表启用自动压缩。 在当前会话期间，此配置优先于相关的表属性。

可以使用 spark.databricks.delta.autoCompact.maxFileSize 配置控制自动压缩的目标文件大小。

有关自动压缩的详细信息，请参阅 自动压缩。

用于 Parquet 查询扫描的新增行组指标

具有 Parquet 扫描的查询现在会在 Spark UI 中显示行组指标。 这些行组指标包括：

• parquet 行组总数
• 读取的 parquet 行组数

Trigger.AvailableNow 用于 Delta 源的流式查询

此项更改支持对 Scala 中的增量源流式处理查询使用新类型的触发器：Trigger.AvailableNow。 它与 Trigger.Once 类似，会处理所有可用数据，然后停止查询。 但是，Trigger.AvailableNow 可提供更好的可伸缩性，因为数据可以分为多批（而不是一批）进行处理。 此更改未引入新接口；它实现现有 Spark API。 此触发器支持 Delta 作为源时已支持的所有可用速率限制选项。

例如：

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

请在《什么是Auto Loader？》中查看Trigger.AvailableNow的相关内容。

Trigger.AvailableNow 用于自动加载程序

Trigger.AvailableNow 是类似于 Trigger.Once 的新流式处理触发模式。 Trigger.Once 会处理所有可用数据，然后停止查询。 Trigger.AvailableNow 具有更好的可伸缩性，因为数据可以分为多批（而不是一批）进行处理。 现在，自动加载程序在 Scala 的目录列表和文件通知模式下都支持 Trigger.AvailableNow。 请查看什么是 Auto Loader？中的详细说明。

针对通过 DataFrame 选项传递的 Hadoop 文件系统配置的 Delta 支持

与 Parquet 类似，Delta 现在支持在读取或写入表时，通过使用 DataFrameReader.load(path) 或 DataFrameWriter.save(path) 从 Hadoop 文件系统配置中读取 DataFrameWriter 和 DataFrameReader 选项。 请参阅配置 Delta 存储凭据。

有状态流计算作业现已支持异步状态检查点功能（公开预览版）

异步状态检查点是一种新功能，它可能会减少具有大量状态更新的有状态流式处理作业中的端到端微批延迟。 请参阅用于有状态查询的异步状态检查点。

支持凭据传递的 Sparklyr

现在，可以通过凭据传递，使用 sparklyr API 对云存储读取和写入数据。 此功能仅限于具有单用户访问权限的标准群集。 请参阅使用 Microsoft Entra ID 凭据直通访问 Azure Data Lake Storage（旧版）。

Databricks 工具数据汇总精度控制（公共预览版）

precise 的新 dbutils.data.summarize 参数可控制汇总结果的精确性。 当 precise 设置为 false（默认值）时，汇总会返回唯一计数、百分位数和频繁项计数的近似结果。 当 precise 设置为 true 时，现在使用精确非重复计数和频繁项计数来计算汇总，具有更精确的百分位估计值。 请参阅 summarize 命令 (dbutils.data.summarize)。

Azure Databricks 笔记本现可与 IPython 内核一起使用

现可将 Azure Databricks 群集配置为使用 IPython 内核来执行 Python 代码。 在 Azure Databricks 上使用 IPython 内核，可增加对 IPython 的显示和输出工具的支持。 此外，IPython 内核捕获由笔记本创建的子进程 stdout 和 stderr 输出，从而允许该输出包含在笔记本的命令结果中。

有关详细信息，请参阅 IPython 内核。

Spark SQL 中的新函数

添加了以下对象和命令，用于处理 Unity Catalog（预览版）中的数据：

• 外部位置
• ALTER CATALOG
• ALTER CREDENTIAL
• 更改位置
• CREATE CATALOG
• 创建位置
• 创建收件人
• 描述目录
• 描述凭据
• 描述位置
• 删除目录
• 删除凭据
• 投放位置
• LIST
• 显示目录
• 显示凭据
• 显示位置
• USE CATALOG

已为 Delta Sharing（预览版）添加了以下命令，通过这些命令，你可以与组织外部的收件人共享只读数据：

• 共享
• ALTER SHARE
• CREATE SHARE
• 描述收件人
• 描述共享
• 删除收件人
• DROP SHARE
• GRANT SHARE
• 撤销共享
• 在共享中显示全部
• 显示收件人
• 显示共享资源
• 显示共享的权限
• 显示授权给接收者

错误修复

• 修复了一个争用条件，该条件可能导致查询失败，例如出现 IOException 这样的情况（如 No FileSystem for scheme），或者导致对 sparkContext.hadoopConfiguration 的修改在查询中未生效。

库升级

• 升级了 Python 库：
  • filelock 从 3.0.12 到 3.3.1
  • koalas 从 1.8.1 到 1.8.2
  • plotly 从 5.1.0 到 5.3.0
• 升级了 R 库：
  • bslib 从 0.3.0 到 0.3.1
  • caret 从 6.0-88 到 6.0-90
  • cpp11 从 0.3.1 到 0.4.0
  • data.table 从 1.14.0 到 1.14.2
  • desc 从 1.3.0 到 1.4.0
  • diffobj 从 0.3.4 到 0.3.5
  • digest 从 0.6.27 到 0.6.28
  • 将 generics 从 0.1.0 更新到 0.1.1
  • hms 从 1.1.0 到 1.1.1
  • knitr 从 1.34 到 1.36
  • 格子从 0.20-44 升级到 0.20-45
  • lifecycle 从 1.0.0 到 1.0.1
  • lubridate 版本从 1.7.10 更新到 1.8.0
  • mgcv 从 1.8-37 到 1.8-38
  • mime 从 0.11 到 0.12
  • pkgload 从 1.2.2 到 1.2.3
  • progressr 版本从 0.8.0 更新到 0.9.0
  • rcmdcheck 从 1.3.3 到 1.4.0
  • readr 从 2.0.1 到 2.0.2
  • recipes 从 0.1.16 到 0.1.17
  • remotes 从 2.4.0 到 2.4.1
  • rlang 从 0.4.11 到 0.4.12
  • rvest 版本从 1.0.1 到 1.0.2
  • shiny 从 1.6.0 到 1.7.1
  • stringi 从 1.7.4 到 1.7.5
  • testthat 从 3.0.4 到 3.1.0
  • tidyr 从 1.1.3 到 1.1.4
  • tinytex 从 0.33 到 0.34
  • usethis 从 2.0.1 到 2.1.2
  • xfun 从 0.26 到 0.27
• 升级了 Java 库：
  • com.zaxxer.HikariCP 从 3.1.0 到 4.0.3

Apache Spark

Databricks Runtime 10.1 包括 Apache Spark 3.2.0。 此版本包括 Databricks Runtime 10.0（EoL）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-37037] [SQL] 通过 UTF8String 和 ByteArray 的统一 compareTo 函数改进了字节数组排序
• [SPARK-37091] [R] SystemRequirements 包含 Java < 18
• [SPARK-37041] [SQL] 后端 HIVE-15025：对 HMS 的安全套接字层 (SSL) 支持
• [SPARK-37098] [SQL] 更改表属性应使缓存失效
• [SPARK-36992] [SQL] 通过统一 UTF8String 和 ByteArray 的 getPrefix 函数，改进字节数组的排序性能。
• [SPARK-37047] [SQL] 为二进制字符串添加了 lpad 和 rpad 函数
• [SPARK-37076] [SQL] 为 Scala 2.13 显式实现 StructType.toString
• [SPARK-37075] [SQL] 将 UDAF 表达式生成从 sql/catalyst 移动到 sql/core
• [SPARK-37084] [SQL] 将 spark.sql.files.openCostInBytes 设置为 bytesConf
• [SPARK-37088] [ PYSPARK][sql] 编写器线程在任务完成侦听器返回后不得访问输入
• [SPARK-37069] [SQL] 当 Hive.getWithoutRegisterFns 不可用时正确进行降级处理
• [SPARK-37050] [PYTHON] 更新 Conda 安装说明
• [SPARK-37067] [SQL] 使用 ZoneId.of() 处理 DatetimeUtils 中的时区字符串
• [SPARK-35925] [SQL] 支持 width-bucket 函数中的 DayTimeIntervalType
• [SPARK-35926] [SQL] 为 width_bucket 添加对 YearMonthIntervalType 类型的支持
• [SPARK-35973] [SQL] 添加命令 SHOW CATALOGS
• [SPARK-36922] [SQL] SIGN/SIGNUM 函数应支持 ANSI 间隔
• [SPARK-37078] [CORE] 支持旧的 3 参数 Sink 构造函数
• [SPARK-37061] [SQL] 修复使用内部类时的 CustomMetrics
• [SPARK-35918] [AVRO] 统一了针对读/写的架构不匹配处理并增强了错误消息
• [SPARK-36871] [SQL] 将 CreateViewStatement 迁移到 v2 命令
• [SPARK-36898] [SQL] 使随机哈希联接因子可配置
• [SPARK-36921] [SQL] 通过 DIV 支持 ANSI 间隔
• [SPARK-36794] [SQL] 为 SEMI/ANTI 混洗哈希联接生成关系时忽略重复的联接键
• [SPARK-36867] [SQL] 修复与 GROUP BY 别名有关的错误消息
• [SPARK-36914] [SQL] 在 JDBC 中实现 dropIndex 和 listIndexes（MySQL 方言）
• [SPARK-35531] [SQL] 在调用 getPartitions 时将 Hive 表直接传递给 HiveClient，以避免进行 HiveTable->CatalogTable->HiveTable 的不必要转换
• [SPARK-36718] [SQL] 仅在不复制成本高昂的表达式时才折叠项目
• [SPARK-37046] [SQL]：更改视图不保留列大小写
• [SPARK-36978] [SQL] InferConstraints 规则应对访问的嵌套字段（而不是根嵌套类型）创建 IsNotNull 约束
• [SPARK-37052] [CORE] 在为 sql shell 时，Spark 应仅将 -verbose 参数传递给主类
• [SPARK-37017] [SQL] 减小同步范围以防止潜在的死锁
• [SPARK-37032] [SQL] 修复 SQL 参考页面中的损坏 SQL 语法链接
• [SPARK-36905] [SQL] 修复在没有显式列名的情况下读取 hive 视图
• [SPARK-36678] 迁移 SHOW TABLES 以在默认情况下使用 V2 命令
• [SPARK-36943] [SQL] 改善缺少列错误消息的可读性
• [SPARK-36980] [SQL] 使用 CTE 插入支持查询
• [SPARK-37001] [SQL] 默认情况下对最终哈希聚合禁用两个级别的映射
• [SPARK-36970] [SQL] 手动禁用 B 函数的格式 date_format，使 Java 17 与 Java 8 兼容
• [SPARK-36546] [SQL] 添加数组支持以便可按名称进行联合
• [SPARK-36979] [SQL] 将 RewriteLateralSubquery 规则添加到 nonExcludableRules 中
• [SPARK-36949] [SQL] 禁止带有 ANSI 间隔的 Hive 提供者的表
• [SPARK-36849] [SQL] 将 UseStatement 迁移到 v2 命令框架
• [SPARK-36868] [SQL] 将 CreateFunctionStatement 迁移到 v2 命令框架
• [SPARK-36841] [SQL] 添加 ansi 语法 set catalog xxx 以更改当前目录
• [SPARK-36821] [SQL] 使类 ColumnarBatch 可扩展 - 附录
• [SPARK-36963] [SQL] 将 max_by/min_by 添加到 sql.functions
• [SPARK-36913] [SQL] 在 DS V2 JDBC 中实现 createIndex 和 IndexExists（MySQL 方言）
• [SPARK-36848] [SQL] 将 ShowCurrentNamespaceStatement 迁移到 v2 命令框架
• [SPARK-36526] [SQL] DSV2 索引支持：添加 supportsIndex 接口
• [SPARK-36960] [SQL] 将包含 ANSI 间隔值的过滤器推送到 ORC
• [SPARK-36929] [SQL] 删除未使用的方法 EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] 支持对 ORC 数据源进行 ANSI 区间的读取和写入
• [SPARK-34980] [SQL] 支持在 AQE 中通过联合实现合并分区
• [SPARK-36809] [SQL] 移除 DPP 中用于 InSubqueryExec 的广播
• [SPARK-36813] [ SQL][python] 提案 as-of 连接和实现 ps.merge_asof 的基础设施
• [SPARK-36918] [SQL] 比较 unionByName 的结构时忽略类型
• [SPARK-36891] [SQL] 重构 SpecificParquetRecordReaderBase 并对矢量化 Parquet 解码添加更多覆盖范围
• [SPARK-36920] [SQL] 通过 ABS() 支持 ANSI 时间间隔
• [SPARK-36888] [SQL] 为 sha2 函数添加测试用例
• [SPARK-36889] [SQL] v2 Parquet 扫描生成器应遵循spark.sql.parquet.filterPushdown
• [SPARK-36830] [SQL] 支持对 JSON 数据源读取和写入 ANSI 间隔
• [SPARK-36870] [SQL] 引入 INTERNAL_ERROR 错误类
• [SPARK-36831] [SQL] 支持对 CSV 数据源读取和写入 ANSI 间隔。
• [SPARK-36550] [SQL] 在 UDF 反射失败时传播原因
• [SPARK-36866] [SQL] 将具有 ANSI 间隔值的筛选器下推到 parquet
• [SPARK-33832] [SQL] 强制倾斜连接代码的简化和改进
• [SPARK-36642] [SQL] 添加 df.withMetadata pyspark API
• [SPARK-35765] [SQL] 区分重复项的聚合不对重复项敏感
• [SPARK-36825] [SQL] 从/向 parquet 文件读取/写入带有 ANSI 间隔的数据帧
• [SPARK-36829] [SQL] 重构 collectionOperators 的 NULL 检查
• [SPARK-32712] [SQL] 支持写入 Hive Bucket 表（具有 Hive 哈希的 Hive 文件格式）
• [SPARK-36797] [SQL] Union 应将嵌套列解析为顶级列
• [SPARK-36838] [SQL] 改进 InSet 生成的代码性能
• [SPARK-36683] [SQL] 添加新的内置 SQL 函数：SEC 和 CSC
• [SPARK-36721] [SQL] 如果一端是文本，则简化布尔相等性
• [SPARK-36760] [SQL] 添加接口 SupportsPushDownV2Filters
• [SPARK-36652] [SQL] AQE 动态联接选择不应该应用于非等值联接
• [SPARK-36745] [SQL] ExtractEquiJoinKeys 应该返回联接键上的原始谓词
• [SPARK-36107] [SQL] 重构第一组 20 个查询执行错误以使用错误类
• [SPARK-32709] [SQL] 支持写入 Hive Bucket 表（具有 Hive 哈希的 Parquet/ORC 格式）
• [SPARK-36735] [SQL] 调整 DPP 的缓存关联开销
• [SPARK-33832] [SQL] 支持优化数据倾斜连接，即使引入了额外的洗牌操作
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec 应使用所有条件而不是非等值条件
• [SPARK-35221] [SQL] 添加对支持的联接提示的校验
• [SPARK-36814] [SQL] 使类 ColumnarBatch 可扩展
• [SPARK-36663] [SQL] 支持 ORC 数据源中仅包含数字的列名
• [SPARK-36751] [SQL][python][R] 向 Scala、Python 和 R 添加 bit 和 octet_length API接口
• [SPARK-36733] [SQL] 修复结构具有多个字段时 SchemaPruning 中的性能问题
• [SPARK-36724] [SQL] 支持timestamp_ntz 作为 SessionWindow 的时间列类型
• [SPARK-36556] [SQL] 添加 DSV2 筛选器
• [SPARK-36687] [ SQL][core] 使用_ERROR后缀重命名错误类
• [SPARK-35803] [SQL] 支持数据源 V2 "CreateTempViewUsing"
• [SPARK-36642] [SQL] 添加 df.withMetadata：用于更新数据帧元数据的语法 suger

维护更新

请参阅 Databricks Runtime 10.1 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.3 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.8.10
• R：4.1.1
• Delta Lake：1.0.0

已安装的 Python 库

已安装的 R 库

Microsoft CRAN 快照中的 R 库安装于 2021-10-26。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）