Databricks Runtime 10.2 (EoS)

以下发行说明提供了由 Apache Spark 3.2.0 提供支持的 Databricks Runtime 10.2 和 Databricks Runtime 10.2 Photon 的相关信息。 Databricks 于 2021 年 12 月发布了这些映像。 Photon 处于公共预览版。

新增功能和改进

• 将存储库中的文件与 Spark Streaming 结合使用
• Databricks 实用程序增加了一条更新装载命令
• Delta Lake 支持重命名列（公共预览版）
• 增量 Lake 表历史记录添加 Databricks Runtime 版本信息
• Databricks Utilities 列出目录时添加最新的修改时间信息
• Spark SQL 添加了一个 approx_top_k 函数来返回顶部项目及其计数
• 现在，Trigger.AvailableNow 在 Python 和 Scala 中可用
• 自动加载程序现在支持 Avro（公共预览版）的架构演变

将存储库中的文件与 Spark Streaming 结合使用

你现在可以从 Spark Streaming 访问存储库中的文件。

Databricks 实用程序增加了一条更新装载命令

新命令 dbutils.fs.updateMount 类似于 dbutils.fs.mount，但这个新命令更新现有安装点而不是创建新安装点。 请参阅 updateMount 命令 (dbutils.fs.updateMount)。

Delta Lake 支持重命名列（公共预览版）

Delta Lake 现在支持列重命名。 要重命名 Delta 表的列，必须升级 Delta 表的版本，然后将列映射模式设置为名称映射。 请参阅使用 Delta Lake 列映射重命名和删除列。

增量 Lake 表历史记录添加 Databricks Runtime 版本信息

现在对 Delta 表进行写入时，还会记录有关进行写入的 Databricks Runtime 版本的信息。 要获取版本信息，请对表上运行 DESCRIBE HISTORY 命令，然后查看输出中的 engineInfo 列。 请参阅 DESCRIBE HISTORY 和使用 Delta Lake 表历史记录。

Databricks Utilities 列出目录时添加最新的修改时间信息

用于列出目录内容的 dbutils.fs.ls 命令现在输出一个 modificationTime 字段。 此字段包含每个列出的文件或目录的最新修改时间。 请参阅 ls 命令 (dbutils.fs.ls)。

Spark SQL 添加了一个 approx_top_k 函数来返回顶部项目及其计数

新函数 approx_top_k 将返回指定表达式的最常出现的项目值及其近似计数。 示例包括：

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

运行任一示例的结果是：

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

请参阅 approx_top_k 聚合函数。

现在，Trigger.AvailableNow 在 Python 和 Scala 中可用

此更改支持 Python 和 Scala 中的 Delta 源流式处理查询 Trigger.AvailableNow。 Databricks Runtime 10.1 引入了对 Scala 中此触发器的支持。 现在，Databricks Runtime 10.2 还在 Python 中支持此触发器。 请在什么是自动加载程序？中查看 Trigger.AvailableNow 的覆盖范围。

自动加载程序现在支持 Avro（公共预览版）的架构演变

请参阅在自动加载程序中配置架构推理和演变。

库升级

• 升级了 Python 库：
  • filelock 已从 3.3.1 升级到 3.4.0
  • plotly 已从 5.3.0 升级到 5.3.1
• 升级了 R 库：
  • base 已从 4.1.1 升级到 4.1.2
  • compiler 已从 4.1.1 升级到 4.1.2
  • datasets 已从 4.1.1 升级到 4.1.2
  • graphics 已从 4.1.1 升级到 4.1.2
  • grDevices 已从 4.1.1 升级到 4.1.2
  • grid 已从 4.1.1 升级到 4.1.2
  • methods 已从 4.1.1 升级到 4.1.2
  • parallel 已从 4.1.1 升级到 4.1.2
  • Rserve 已从 1.8-8 升级到 1.8-10
  • splines 已从 4.1.1 升级到 4.1.2
  • stats 已从 4.1.1 升级到 4.1.2
  • stats4 已从 4.1.1 升级到 4.1.2
  • tcltk 已从 4.1.1 升级到 4.1.2
  • tools 已从 4.1.1 升级到 4.1.2
  • utils 已从 4.1.1 升级到 4.1.2
  • backports 已从 1.2.1 升级到 1.4.0
  • broom 已从 0.7.9 升级到 0.7.10
  • cli 已从 3.0.1 升级到 3.1.0
  • cpp11 已从 0.4.0 升级到 0.4.1
  • crayon 已从 1.4.1 升级到 1.4.2
  • credentials 已从 1.3.1 升级到 1.3.2
  • future 已从 1.22.1 升级到 1.23.0
  • gert 已从 1.4.1 升级到 1.4.3
  • glmnet 已从 4.1-2 升级到 4.1-3
  • glue 已从 1.4.2 升级到 1.5.0
  • memoise 已从 2.0.0 升级到 2.0.1
  • parallelly 已从 1.28.1 升级到 1.29.0
  • readr 已从 2.0.2 升级到 2.1.0
  • sessioninfo 已从 1.1.1 升级到 1.2.1
  • stringi 已从 1.7.5 升级到 1.7.6
  • tibble 已从 3.1.5 升级到 3.1.6
  • tinytex 已从 0.34 升级到 0.35
  • tzdb 已从 0.1.2 升级到 0.2.0
  • usethis 已从 2.1.2 升级到 2.1.3
  • uuid 已从 0.1-4 升级到 1.0-3
  • vroom 已从 1.5.5 升级到 1.5.6
  • xfun 已从 0.27 升级到 0.28
• 升级了 Java 库：
  • com.fasterxml.jackson 已从 2.12.2 升级到 2.12.3
  • io.airlift.aircompressor 已从 0.19 升级到 0.21
  • io.netty.netty-all 已从 4.1.63.Final 升级到 4.1.68.Final
  • joda-time.joda-time 已从 2.10.5 升级到 2.10.10
  • org.apache.commons.commons-compress 已从 1.20 升级到 1.21
  • org.apache.orc 已从 1.6.10 升级到 1.6.12
  • org.eclipse.jetty 已从 9.4.40.v20210413 升级到 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 已从 1.0 升级到 1.2
  • org.scalanlp.breeze_2.12 已从 1.0 升级到 1.2
  • org.org.typelevel.algebra_2.12 已从 2.0.0 升级到 2.0.1
  • org.typelevel.cats-kernel_2.12 已从 2.0.0 升级到 2.0.1

Apache Spark

Databricks Runtime 10.2 包含 Apache Spark 3.2.0。 此版本包括 Databricks Runtime 10.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-37447] [SQL] 缓存 LogicalPlan.isStreaming() 导致延迟 val
• [SPARK-37468] [SQL] 针对 UnionEstimation 支持 ANSI 间隔和 TimestampNTZ
• [SPARK-37464] [SQL] SCHEMA 和 DATABASE 应该只是 NAMESPACE 的别名
• [SPARK-37452] [SQL] Char 和 Varchar 破坏了 v3.1 和 v2 之间的向后兼容性
• [SPARK-36861] [SQL] yyyy-MM-dd 用作分区发现中的日期模式
• [SPARK-37456] [SQL] CREATE NAMESPACE 应为 v2 命令限定位置
• [SPARK-37357] [SQL] 为重新平衡分区添加小分区因子
• [SPARK-37446] [SQL] 对 getWithoutRegisterFns 使用反射以允许构建不同的 Hive 版本
• [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION 应该在 v1 和 v2 命令中以一致方式处理空位置
• [SPARK-36357] [SQL] 针对 orc 支持无时区的下推时间戳
• [SPARK-36346] [SQL] 在 Orc 文件源中支持 TimestampNTZ 类型
• [SPARK-36646] [SQL] 按分区列下推分组以进行聚合
• [SPARK-34960] [SQL] ORC 的聚合下推
• [SPARK-37386] [SQL] 简化 OptimizeSkewedJoin ，不运行成本评估器
• [SPARK-36073] [SQL] EquivalentExpressions 修复和改进
• [SPARK-35352] [SQL] 为完整的外部排序合并连接添加代码生成
• [SPARK-37292] [SQL] 如果外部联接仅在带有别名的流式侧具有 DISTINCT，则删除外部联接
• [SPARK-37371] [SQL] 如果所有孩子都支持柱状，UnionExec 应该支持柱状
• [SPARK-36645] [SQL] 针对 Parquet 的聚合（最小/最大/计数）下推
• [SPARK-37379] [SQL] 在 CTESubstitution 规则中增加了树模式修剪
• [SPARK-37332] [SQL] 在 ALTER TABLE .. ADD COLUMNS 中允许 NASI 间隔
• [SPARK-37224] [SS] 优化 RocksDB 状态存储提供程序的写入路径
• [SPARK-37304] [SQL]在 ALTER TABLE .. REPLACE COLUMNS v2 中允许 ANSI 间隔
• [SPARK-36924] [SQL] ANSI 间隔与 IntegralType 之间强制转换
• [SPARK-37289] [SQL] 删除了 partitionSchemaOption 函数
• [SPARK-37270] [SQL] 在 elseValue 为空时，将推送可折叠固定到 CaseWhen 分支
• [SPARK-35345] [SQL] 在 BloomFilterBenchmark 中增加了 Parquet 测试
• [SPARK-37341] [SQL] 在完全外部排序合并连接中避免不必要的缓冲区和复制
• [SPARK-37266] [SQL] 查看文本只能是 SELECT 查询
• [SPARK-37288] [PYTHON][3.2] 自注释更新以来的反向移植
• [SPARK-37262] [SQL] 不会在 JDBCScan 中记录空聚合和分组依据
• [SPARK-37283] [SQL] 不会尝试以 Hive 兼容格式存储包含 ANSI 间隔的 V1 表
• [SPARK-37221] [SQL] SparkPlan 中的类似收集 API 应该支持列输出
• [SPARK-37202] [SQL] 使用 AnalysisContext 跟踪引用的临时函数
• [SPARK-37023] [CORE] 当重试期间，shuffleDependency 针对 shuffleMergeEnabled 为false 时，避免获取合并状态
• [SPARK-37307] [CORE] 不会为空分区获取 JDBC 连接
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions 支持优化非根节点
• [SPARK-36799] [SQL] 在 CLI 中传递 queryExecution 名称
• [SPARK-37261] [SQL] 允许在 DSv2 中添加具有 ANSI 间隔的分区
• [SPARK-37203] [SQL] 解决了使用 TypedImperativeAggregate 观察时出现的 NotSerializableException
• [SPARK-37199] [SQL] 向 QueryPlan 添加了确定性字段
• [SPARK-37253] [PYTHON] 当 tb_frame.f_lineno 为 None 时，try_simplify_traceback 不会失败
• [SPARK-37214] [SQL] 早期使用无效标识符使查询分析失败
• [SPARK-37240] [SQL] 使用 ColumnVectorUtils.populate() 处理 ANSI 间隔
• [SPARK-35437] [SQL] 在客户端使用表达式筛选 Hive 分区
• [SPARK-32940] [SQL] Collect、first 和 last 应该是确定性聚合函数
• [SPARK-37231] [SQL] ANSI 间隔分区的动态写入/读取
• [SPARK-37038] [SQL] DSV2 样品下推
• [SPARK-36665] [SQL] 添加更多 Not 运算符简化
• [SPARK-37150] [SQL] 迁移 DESCRIBE NAMESPACE，因此默认使用 V2 命令
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale 失败会返回 null
• [SPARK-37212] [SQL] 改进聚合下推的实施。
• [SPARK-37190] [SQL] 改进 ANSI 模式下强制转换的错误消息
• [SPARK-37161] [SQL] RowToColumnConverter 支持 AnsiIntervalType
• [SPARK-37160] [SQL] 添加配置，可选择性地禁用 char 类型的填充
• [SPARK-36554] [SQL][PYTHON] 在 functions.scala 中公开 make_date 表达式
• [SPARK-37200] [SQL] 针对 Data Source V2 支持删除索引
• [SPARK-37179] [SQL] ANSI 模式：添加了一个配置以允许在 Datetime 和 Numeric 之间进行转换
• [SPARK-37168] [SQL] 改进了 ANSI 模式下 SQL 函数和运算符的错误消息
• [SPARK-36935] [SQL] 扩展了 ParquetSchemaConverter，可计算 Parquet 重复和定义级别
• [SPARK-37066] [SQL] 改进了错误消息，可在读取下一个文件失败时显示文件路径
• [SPARK-32567] [SQL] 为完整的外部混洗散列连接增加了代码生成
• [SPARK-37176] [SQL] 将 JsonInferSchema#infer 方法的异常处理逻辑与 JacksonParser#parse 方法同步
• [SPARK-37149] [SQL] 改进 ANSI 模式下算术溢出异常的错误信息
• [SPARK-37136] [SQL] 删除有关 hive 内置函数的代码，但未在 spark 中实现
• [SPARK-16280] [SPARK-37082] [SQL] 实现支持部分聚合的 histogram_numeric 聚合函数。
• [SPARK-36975] [SQL] 在 HiveClientImpl 中更正 hive 客户端调用的指标

维护更新

请参阅 Databricks Runtime 10.2 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.3 LTS
• Java：Zulu 8.58.0.13-CA-linux64
• Scala：2.12.14
• Python：3.8.10
• R：4.1.2
• Delta Lake：1.1.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2021-11-30 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）