Databricks Runtime 9.0 （EoS）

以下发行说明提供了由 Apache Spark 3.1.2 提供支持的 Databricks Runtime 9.0 和 Databricks Runtime 9.0 Photon 的相关信息。 Databricks 于 2021 年 8 月发布了此版本。 Photon 处于公共预览版。

更正

这些发行说明的上一个版本错误地指出 Apache Parquet 依赖项由 1.10 升级为 1.12。 实际上，Parquet 依赖项仍保留为版本 1.10。 这项不正确的发行说明已删除。

新增功能和改进

• 用于数据集摘要统计信息的新 API（公共预览版）
• Azure Synapse 连接器的简化版外部数据源配置
• 可针对 Amazon Redshift 连接器选择将会话限制为指定的持续时间
• 自动加载程序
• SQL
• R 支持
• 通过指定结构化流监控状态处理的初始状态来避免重做
• Delta MERGE INTO 命令的低随机实现现在可用（公共预览版）

用于数据集摘要统计信息的新 API（公共预览版）

凭借 Databricks 实用工具中的新命令 dbutils.data.summarize，你可以启动 Spark 作业（该作业可自动计算 Spark 数据帧列的摘要统计信息），然后以交互方式显示结果。 此函数适用于 Scala 和 Python。 请参阅数据实用工具 (dbutils.data)。

Azure Synapse 连接器的简化版外部数据源配置

借助externalDataSource连接器中的新选项 ，可以使用预配的外部数据源读取 Azure Synapse 数据库中的数据。 externalDataSource 选项删除了之前所需的 CONTROL 权限。

设置 externalDataSource 时，外部数据源和用于配置临时存储的 tempDir 选项必须引用存储帐户中的同一容器。

自动加载程序

• 优化的文件列表
• 优化的图像数据存储
• 二进制文件的图像缩略图（公共预览版）
• DirectoryRename 事件启用多个文件的原子处理

优化的文件列表

自动加载器优化用于在云存储中列出嵌套目录时提供性能改进和成本节省，包括 AWS S3、Azure 数据湖存储（ADLS）和 Google 云存储（GCS）。

例如，如果文件以 /some/path/YYYY/MM/DD/HH/fileName 的形式上传，为查找这些目录中的所有文件，自动加载程序以前会并行列出所有子目录，导致每个年份目录的底层存储的 LIST API 目录调用数为 365（每天）* 24（每小时）= 8760。 通过接收来自这些存储系统的扁平化响应，自动加载程序将 API 调用次数减少为存储系统中文件数量除以每个 API 调用返回的结果数量（对于 S3 为 1000，对于 ADLS 为 5000，对于 GCS 为 1024），从而极大地降低了云成本。

优化的图像数据存储

自动加载程序现在可以自动检测正在导入的图像数据，并优化其 Delta 表中的存储，以提高读取和写入性能。 请参阅将图像或二进制数据引入 Delta Lake for ML。

二进制文件的图像缩略图（公共预览版）

使用自动加载程序加载或保存为 Delta 表的 binaryFile 格式的图像附加了批注，因此在 Azure Databricks 笔记本中显示该表时，就会显示图像缩略图。 有关详细信息，请参阅图像。

DirectoryRename 事件启用多个文件的原子处理

在 Azure Data Lake Storage 上的 Databricks Runtime 9.0 及以上版本中创建的自动加载程序流设置文件事件通知，以包括目录重命名并侦听 RenameDirectory 事件。 可以使用目录重命名使多个文件以原子方式显示在自动加载程序中。

SQL

• 排除 SELECT * 中的列（公共预览版）
• SQL 标量函数（公共预览版）
• 在 FROM 子查询中引用之前的别名和列（公共预览版）

排除 SELECT * 中的列（公共预览版）

SELECT * 现支持 EXCEPT 关键字，让你可从扩展中排除指定的顶级列。 例如，SELECT * EXCEPT (b) FROM tbl 从具有架构 (a, b, c) 的表中扩展为架构 (a, c)。

SQL 标量函数（公共预览版）

CREATE FUNCTION 现在支持 SQL 标量函数。 可以创建使用一组参数而返回一个标量类型值的标量函数。 SQL 函数体可以是任何表达式。 例如：

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

有关详细信息，请参阅 CREATE FUNCTION（SQL 和 Python）。

在 FROM 子查询中引用之前的别名和列（公共预览版）

查询的 FROM 子句中的子查询现可置于 LATERAL 关键字之前，该关键字允许子查询引用之前的 FROM 项的别名和列。 例如：

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

LATERAL 关键字支持 INNER、CROSS 和 LEFT (OUTER) JOIN。

请参阅参数和参数。

R 支持

笔记本范围的 R 库（公共预览版）

使用笔记本范围的库即可安装库并创建范围为笔记本会话的环境。 这些库不会影响在同一群集上运行的其他笔记本。 这些库在驱动程序和工作器节点上均可用，因此可在用户定义的函数中引用它们。 请参阅笔记本范围的 R 库。

R 笔记本中的警告消息

R 笔记本中，warn 选项的默认值现设置为 1。 因此，所有警告现都将作为命令结果的一部分公开。 若要详细了解 warn 选项，请参阅选项设置。

通过指定结构化流监控状态处理的初始状态来避免重做

现在，可以使用 [flat]MapGroupsWithState 运算符为结构化流监控状态处理指定用户定义的初始状态。

请参阅为 mapGroupsWithState 指定初始状态。

Delta MERGE INTO 命令的低随机实现现在可用（公共预览版）

Delta MERGE INTO 命令有一个可用的新实现，它可减少对未修改行的混洗。 这提高了命令的性能并有助于保留表上的现有群集，例如 Z 排序。 要启用低随机合并，请将 spark.databricks.delta.merge.enableLowShuffle 设置为 true。 请参阅 Azure Databricks 上的低随机合并。

Bug 修复

• 通过创建同名视图来覆盖该视图的方法不再可用。

库升级

• 升级了 Python 库：
  • certifi 由 2021.5.30 升级为 2020.12.5
  • chardet 由 3.0.4 升级为 4.0.0
  • Cython 由 0.29.21 升级为 0.29.23
  • decorator 由 4.4.2 升级为 5.0.6
  • ipython 由 7.19.0 升级为 7.22.0
  • joblib 由 0.17.0 升级为 1.0.1
  • jupyter-client 由 6.1.7 升级为 6.1.12
  • jupyter-core 由 4.6.3 升级为 4.7.1
  • kiwisolver 由 1.3.0 升级为 1.3.1
  • matplotlib 由 3.2.2 升级为 3.4.2
  • pandas 由 1.1.5 升级为 1.2.4
  • pip 由 20.2.4 升级为 21.0.1
  • prompt-toolkit 由 3.0.8 升级为 3.0.17
  • protobuf 由 3.17.3 升级为 3.17.2
  • ptyprocess 由 0.6.0 升级为 0.7.0
  • pyarrow 由 1.0.1 升级为 4.0.0
  • Pygments 由 2.7.2 升级为 2.8.1
  • pyzmq 由 19.0.2 升级为 20.0.0
  • requests 由 2.24.0 升级为 2.25.1
  • s3transfer 由 0.3.6 升级为 0.3.7
  • scikit-learn 由 0.23.2 升级为 0.24.1
  • scipy 由 1.5.2 升级为 1.6.2
  • seaborn 由 0.10.0 升级为 0.11.1
  • setuptools 由 50.3.1 升级为 52.0.0
  • statsmodels 由 0.12.0 升级为 0.12.2
  • tornado 由 6.0.4 升级为 6.1
  • virtualenv 由 20.2.1 升级为 20.4.1
  • wheel 由 0.35.1 升级为 0.36.2
• 升级了 R 库：
  • Matrix 由 1.3-3 升级为 1.3-4

Apache Spark

Databricks Runtime 9.0 包括 Apache Spark 3.1.2。 此版本包括 Databricks Runtime 8.4 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-35886] [SQL][3.1] PromotePrecision 不应覆盖 genCodePromotePrecision 不应覆盖 genCode
• [SPARK-35879] [ CORE][shuffle] 修复因 collectFetchRequests 导致的性能退化。
• [SPARK-35817] [SQL][3.1] 还原针对宽 Avro 表的查询性能
• [SPARK-35841] [SQL] 将字符串转换为十进制类型的功能不可用的前提是…
• [SPARK-35783] [SQL] 在任务配置中设置读取列的列表以减少 ORC 数据读取
• [SPARK-35576] [SQL][3.1] 在 Set 命令的结果中修订敏感信息
• [SPARK-35449] [SQL][3.1] 如果设置了 elseValue，则仅从 CaseWhen 值中提取常用表达式
• [SPARK-35288] [SQL] StaticInvoke 应在没有精确参数类匹配的情况下找到方法
• [SPARK-34794] [SQL] 修复嵌套 DataFrame 函数中的 lambda 变量名称问题
• [SPARK-35278] [SQL] 调用应找到具有正确数量参数的方法
• [SPARK-35226] [SQL] 支持 JDBC 数据源中的 refreshKrb5Config 选项
• [SPARK-35244] [SQL] 调用应引发原始异常
• [SPARK-35213] [SQL] 在链接 withField 操作中保留嵌套结构的正确排序
• [SPARK-35087] [UI] 阶段详细信息页面中执行程序聚合指标表的某些列显示不正确。
• [SPARK-35168] [SQL] mapred.reduce.tasks 应为 shuffle.partitions，而不是 adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [UI] 当在不同的阶段详细信息页面之间切换时，新打开页面中的条目项可能为空白
• [SPARK-35142] [PYTHON][ml] 修复了rawPredictionUDF中OneVsRestModel的错误返回类型
• [SPARK-35096] [SQL] SchemaPruning 应遵循 spark.sql.caseSensitive 配置
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias 不应创建 UnresolvedAlias
• [SPARK-35080] [SQL] 在聚合子查询时仅允许相关等式谓词的子集
• [SPARK-35117] [UI] 将进度条改回突出显示正在进行中任务的比例
• [SPARK-35136] 删除 LiveStage.info 的初始 NULL 值
• [SPARK-34834] [NETWORK] 修复 TransportResponseHandler 中一个潜在的 Netty 内存泄漏
• [SPARK-35045] [SQL] 在 univocity 中添加用于控制输入缓冲区的内部选项
• [SPARK-35014] 修复 PhysicalAggregation 模式，不重写可折叠表达式
• [SPARK-35019] [ PYTHON][sql] 修复 pyspark.sql.* 中的类型提示不匹配的问题。
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() 分区值应为 NULL
• [SPARK-34630] [PYTHON] 为 pyspark.version 添加 typehint
• [SPARK-34963] [SQL] 修复嵌套列修剪，以从结构数组中提取不区分大小写的结构字段
• [SPARK-34988] [CORE][3.1] 升级 Jetty for CVE-2021-28165
• [SPARK-34922] [SQL][3.1] 在 CBO 中使用相对成本比较函数
• [SPARK-34970] [SQL][安全][3.1] 在 explain() 的输出中隐藏映射类型的选项
• [SPARK-34923] [SQL] 对于更多计划，元数据输出应为空
• [SPARK-34949] [CORE] 防止在执行程序关闭时重新注册 BlockManager
• [SPARK-34939] [CORE] 在无法反序列化广播映射状态时引发提取失败异常
• [SPARK-34909] [SQL] 修复了 conv() 中负值到无符号的转换
• [SPARK-34845] [CORE] ProcfsMetricsGetter 不应返回部分 procfs 指标
• [SPARK-34814] [SQL] LikeSimplification 应处理 NULL
• [SPARK-34876] [SQL] 填充不可为 null 的聚合的 defaultResult
• [SPARK-34829] [SQL] 修复高阶函数结果
• [SPARK-34840] [SHUFFLE] 修复合并无序中损坏情况…
• [SPARK-34833] [SQL] 对关联的子查询正确应用右填充
• [SPARK-34630] [PYTHON][sql] 为 pyspark.sql.Column.contains 添加了 typehint
• [SPARK-34763] [SQL] col()、$"name" 和 df("name") 应正确处理带引号的列名
• [SPARK-33482][SPARK-34756] [SQL] 修复 FileScan 相等性检查
• [SPARK-34790] [CORE] 启用 io 加密时，禁用批量提取 shuffle 块
• [SPARK-34803] [PYSPARK] 如果 pandas 或 pyarrow 无法导入，则传递引发的 ImportError
• [SPARK-34225] [CORE] 在将 URI 窗体字符串传递给 addFile 或 addJar 时，不要进一步编码
• [SPARK-34811] [CORE] 修订 fs.s3a.access.key，如机密和令牌
• [SPARK-34796] [SQL][3.1] 初始化 doProduce() 中 LIMIT code-gen 的计数器变量
• [SPARK-34128] [SQL] 取消 THRIFT-4805 中涉及的并不需要的 TTransportException 警告
• [SPARK-34776] [SQL] 嵌套列修剪不应删除 Window 生成的属性
• [SPARK-34087] [3.1 ][sql] 修复 ExecutionListenerBus 的内存泄漏
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords 应使用 Spark 类加载程序，而不是上下文
• [SPARK-34719] [SQL][3.1] 正确解析列名重复的视图查询
• [SPARK-34766] [SQL][3.1] 不要捕获视图的 maven 配置
• [SPARK-34731] [CORE] 在修订 EventLoggingListener 中的属性时避免 ConcurrentModificationException
• [SPARK-34737] [SQL][3.1] 将 TIMESTAMP_SECONDS 中的单精度浮动输入值强制转换为双精度值
• [SPARK-34749] [SQL][3.1] 简化 ResolveCreateNamedStruct
• [SPARK-34768] [SQL] 遵循 Univocity 中的默认输入缓冲区大小
• [SPARK-34770] [SQL] 如果数据库不存在，InMemoryCatalog.tableExists 不应失败
• [SPARK-34504] [SQL] 避免对 DDL 命令进行不必要的 SQL 临时视图解析
• [SPARK-34727] [SQL] 修复将浮动值强制转换为时间戳时的偏差
• [SPARK-34723] [SQL] 整个阶段下子表达式消除的正确参数类型
• [SPARK-34724] [SQL] 使用 getMethod（而不是 getDeclaredMethod）修复解释型计算
• [SPARK-34713] [SQL] 修复带有 ExtractValue 的 group by CreateStruct
• [SPARK-34697] [SQL] 允许 DESCRIBE FUNCTION 和 SHOW FUNCTIONS 解释 ||（字符串串联运算符）
• [SPARK-34682] [SQL] 使用 PrivateMethodTester，而不是反射
• [SPARK-34682] [SQL] 修复 CustomShuffleReaderExec 中规范化错误检查中的回归
• [SPARK-34681] [SQL] 在不相等条件下在左侧进行构建时，修复完全外部无序哈希联接的 bug
• [SPARK-34545] [SQL] 修复 pyrolite 的 valueCompare 功能问题
• [SPARK-34607] [SQL][3.1] 添加 Utils.isMemberClass 以修复 jdk8u 上格式错误的类名错误
• [SPARK-34596] [SQL] 使用 Utils.getSimpleName 来避免 NewInstance.doGenCode 中命中格式错误的类名
• [SPARK-34613] [SQL] 修复视图不捕获禁用提示配置
• [SPARK-32924] [WEBUI] 使主 UI 中的持续时间列按正确顺序排序
• [SPARK-34482] [SS] 更正 StreamExecution.logicalPlan 的活动 SparkSession
• [SPARK-34567] [SQL] CreateTableAsSelect 还应更新指标
• [SPARK-34599] [SQL] 修复 INSERT INTO OVERWRITE 不支持包含 DSv2 点的分区列的问题
• [SPARK-34577] [SQL] 修复将列拖放/添加到 DESCRIBE NAMESPACE 数据集的问题
• [SPARK-34584] [SQL] 在插入 v2 表时，静态分区也应遵循 StoreAssignmentPolicy
• [SPARK-34555] [SQL] 解析数据帧的元数据输出
• [SPARK-34534] 修复使用 FetchShuffleBlocks 获取块时的 blockIds 顺序
• [SPARK-34547] [SQL] 仅将元数据列用作进行解析的最后手段
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap 因列表含一个点而失败
• [SPARK-34561] [SQL] 修复从/向 v2 DESCRIBE TABLE 数据集删除/添加列的问题
• [SPARK-34556] [SQL] 检查重复的静态分区列应遵守区分大小写的配置
• [SPARK-34392] [SQL] 支持 DateTimeUtils 中的 ZoneOffset +h:mm。 getZoneId
• [SPARK-34550] [SQL] 将筛选器推送到 Hive 云存储期间跳过 InSet null 值
• [SPARK-34543] [SQL] 在 v1 spark.sql.caseSensitive 中解析分区规范时遵循 SET LOCATION 配置
• [SPARK-34436] [SQL] DPP 支持 LIKE ANY/ALL 表达式
• [SPARK-34531] [CORE] 删除 PrometheusServlet 中的实验性 API 标记
• [SPARK-34497] [SQL] 修复内置 JDBC 连接提供程序以还原 JVM 安全性上下文更改
• [SPARK-34515] [SQL] 如果 InSet 在 getPartitionsByFilter 期间包含 NULL 值，则修复 NPE
• [SPARK-34490] [SQL] 如果视图引用已删除的表，则分析将失败
• [SPARK-34473] [SQL] 避免在 DataFrameReader.schema(StructType) 中使用 NPE
• [SPARK-34384] [CORE] 为 ResourceProfile API 添加缺少的文档
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext 可能会因争用问题而挂起
• [SPARK-20977] [CORE] 对 CollectionAccumulator 状态使用非最终字段
• [SPARK-34421] [SQL] 使用 CTE 在视图中解析临时函数和视图
• [SPARK-34431] [CORE] 仅加载一次 hive-site.xml
• [SPARK-34405] [CORE] 修复 PrometheusServlet 类中 timersLabels 的平均值
• [SPARK-33438] [SQL] 使用 set -v 命令的已定义 SQL 配置积极初始化对象
• [SPARK-34158] pom.xml 中唯一开发人员 Matei 的 URL 不正确
• [SPARK-34346] [CORE][sql][3.1] spark.buffer.size 设置的 io.file.buffer.size 将由意外加载 hive-site.xml 替代，这可能导致会 perf 回归
• [SPARK-34359] [SQL][3.1] 添加旧配置以还原 SHOW DATABASES 的输出架构
• [SPARK-34331] [SQL] 加快 DS v2 元数据 col 解析
• [SPARK-34318] [SQL][3.1] Dataset.colRegex 应适用于包含新行的列名和限定符
• [SPARK-34326] [CORE][sql] 根据临时路径的长度修复 SPARK-31793 中添加的 UT
• [SPARK-34319] [SQL] 解析 FlatMapCoGroupsInPandas/MapInPandas 的重复属性
• [SPARK-34310] [CORE][sql] 将映射和平展替换为 flatMap
• [SPARK-34083] [SQL][3.1] 使用 char/varchar colums 的 TPCDS 原始定义
• [SPARK-34233] [SQL][3.1] 修复二进制比较中字符填充的 NPE
• [SPARK-34270] [SS] 合并 StateStoreMetrics 不应替代 StateStoreCustomMetric
• [SPARK-34144] [SQL] 尝试将 LocalDate 和 Instant 值写入 JDBC 关系时引发异常
• [SPARK-34273] [CORE] 停止 SparkContext 时不要重新注册 BlockManager
• [SPARK-34262] [SQL][3.1] 刷新 ALTER TABLE .. SET LOCATION 中 v1 表的缓存数据
• [SPARK-34275] [CORE][sql][MLLIB] 将筛选器和大小替换为计数
• [SPARK-34260] [SQL] 修复两次创建临时视图时出现的 UnresolvedException 问题
• [SPARK-33867] [SQL] 生成 SQL 查询时不处理即时值和 LocalDate 值
• [SPARK-34193] [CORE] TorrentBroadcast 块管理器解除对竞争的修复
• [SPARK-34221] [WEBUI] 确保当 UI 页中的阶段失败时可正确显示相应错误消息
• [SPARK-34236] [SQL] 修复 v2 覆盖 w/ NULL 静态分区引发无法将表达式转换为源筛选器：NULL
• [SPARK-34212] [SQL] 修复 Parquet 文件中的十进制读取错误
• [SPARK-34244] [SQL] 删除 regexp_extract_all 的 Scala 函数版本
• [SPARK-34235] [SS] 将 spark.sql.hive 作为专用包
• [SPARK-34232] [CORE] 修订日志中的 SparkListenerEnvironmentUpdate 事件
• [SPARK-34229] [SQL] Avro 应使用文件架构读取十进制值
• [SPARK-34223] [SQL] 修复 InsertIntoHadoopFsRelationCommand 中为 NULL 的静态分区的 NPE
• [SPARK-34192] [SQL] 移动写入端的字符填充，并删除读取端的长度检查
• [SPARK-34203] [SQL] 将 null 分区值转换为 v1 __HIVE_DEFAULT_PARTITION__ 目录中的 In-Memory
• [SPARK-33726] [SQL] 修复聚合期间的重复字段名称问题
• [SPARK-34133] [AVRO] 在执行 Catalyst-to-Avro 字段匹配时区分大小写
• [SPARK-34187] [SS] 检查偏移验证时，使用轮询期间获取的可用偏移范围
• [SPARK-34052] [SQL][3.1] 为使用“CACHE TABLE ..AS SELECT …”创建的 临时视图存储 SQL 文本
• [SPARK-34213] [SQL] 刷新 LOAD DATA 中 v1 表的缓存数据
• [SPARK-34191] [PYTHON][sql] 为 udf 重载添加类型
• [SPARK-34200] [SQL] 不明确的列引用应考虑属性可用性
• [SPARK-33813] [SQL][3.1] 修复了 JDBC 源无法处理 MS SQL Server 的空间类型的问题
• [SPARK-34178] [SQL] 复制 MultiInstanceRelation.newInstance 创建的新节点的标记
• [SPARK-34005] [CORE][3.1] 更新任务端每个执行程序的内存峰值指标
• [SPARK-34115] [CORE] 检查 SPARK_TESTING 延迟 val，以避免速度变慢
• [SPARK-34153] [SQL][3.1][3.0] 从 getRawTable() 中删除未使用的 HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] 使用 StaticInvoke 提升字符型 varchar 填充和长度检查的性能
• [SPARK-34027] [SQL][3.1] 刷新 ALTER TABLE .. RECOVER PARTITIONS 中的缓存
• [SPARK-34151] [SQL] 将 java.io.File.toURL 替换为 java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] 将 QueryCompilationErrors.scala 移动到 org/apache/spark/sql/errors
• [SPARK-34080] [ ML][python] 添加单变量特性选择器
• [SPARK-33790] [CORE][3.1] 减少 SingleFileEventLogFileReader 中 getFileStatus 的 rpc 调用
• [SPARK-34118] [CORE][sql][3.1] 将筛选器和检查是否为空替换为 exists 或 forall
• [SPARK-34114] [SQL] 不应向右剪裁读取端字符长度检查和填充
• [SPARK-34086] [SQL][3.1] RaiseError 生成过多代码，并且可能无法通过 char varchar 的长度检查中的 codegen
• [SPARK-34075] [ SQL][core] 正在列出用于分区推理的隐藏目录
• [SPARK-34076] [SQL] 如果缓存非空，SQLContext.dropTempTable 会失败
• [SPARK-34084] [SQL][3.1] 修复 ALTER TABLE .. ADD PARTITION 中表统计信息的自动更新
• [SPARK-34090] [SS] 缓存 KafkaTokenUtil.needTokenUpdate 中的 HadoopDelegationTokenManager.isServiceEnabled 结果
• [SPARK-34069] [CORE] 终止屏障任务应遵守 SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] 启用随机批处理提取后，应能够禁用它
• [SPARK-34059] [SQL][core][3.1] 使用 for/foreach 而不是映射，以确保立即执行它
• [SPARK-34002] [SQL] 修复 ScalaUDF 中编码器的使用情况
• [SPARK-34060] [SQL][3.1] 通过 ALTER TABLE .. DROP PARTITION 更新统计信息时，修复 Hive 表缓存
• [SPARK-31952] [SQL] 修复执行聚合时的不正确内存溢写指标
• [SPARK-33591] [SQL][3.1] 识别分区规格值中的 null
• [SPARK-34055] [SQL][3.1] 刷新 ALTER TABLE .. ADD PARTITION 中的缓存
• [SPARK-34039] [SQL][3.1] ReplaceTable 应使缓存失效
• [SPARK-34003] [SQL] 修复 PaddingAndLengthCheckForCharVarchar 和 ResolveAggregateFunctions 之间的规则冲突
• [SPARK-33938] [SQL][3.1] 通过 LikeSimplification 优化 Like Any/All
• [SPARK-34021] [R] 修复 CRAN 提交的 SparkR 文档中的超链接
• [SPARK-34011] [SQL][3.1][3.0] 刷新 ALTER TABLE .. RENAME TO PARTITION 中的缓存
• [SPARK-33948] [SQL] 修复 Scala 2.13 中 MapObjects.doGenCode 方法的 CodeGen 错误
• [SPARK-33635] [SS] 调整 KafkaTokenUtil.needTokenUpdate 中的检查顺序以对性能倒退的情况进行补救
• [SPARK-33029] [ CORE][webui] 修复 UI 执行程序页错误地将驱动程序标记为已排除
• [SPARK-34015] [R] 修复 gapply 中的输入计时
• [SPARK-34012] [SQL] 当配置 spark.sql.legacy.parser.havingWithoutGroupByAsWhere 为 true 时使行为与迁移指南保持一致
• [SPARK-33844] [SQL][3.1] InsertIntoHiveDir 命令还应检查 col 名称
• [SPARK-33935] [SQL] 修复 CBO 成本函数
• [SPARK-33100] [SQL] 忽略 spark-sql 中括号内注释中的分号
• [SPARK-34000] [CORE] 修复 stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] 替代 transformUpWithNewOutput 以添加 allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] 更改 mllib 中私有 case 类的可见性，避免 Scala 2.13 出现运行时编译错误
• [SPARK-33950] [SQL][3.1][3.0] 刷新 v1 ALTER TABLE .. DROP PARTITION 中的缓存
• [SPARK-33980] [SS] 使 spark.readStream.schema 中的 char/varchar 无效
• [SPARK-33945] [SQL][3.1] 处理由 expr 树组成的随机种子
• [SPARK-33398] 修复 Spark 3.0 之前的加载树模型
• [SPARK-33963] [SQL] 规范化 HiveTableRelation w/o 表统计信息
• [SPARK-33906] [WEBUI] 修复由未定义的 peakMemoryMetrics 导致的 UI 执行程序页停滞这一 bug
• [SPARK-33944] [SQL] SharedState 选项中的仓库密钥日志记录不正确
• [SPARK-33936] [SQL][3.1] 添加连接器接口时添加版本
• [SPARK-33916] [CORE] 修复回退存储偏移并改进压缩编解码器测试覆盖范围
• [SPARK-33899] [SQL][3.1] 修复 spark_catalog 上 v1 SHOW TABLES/VIEWS 的断言失败
• [SPARK-33901] [SQL] 修复 DDL 后的 Char 和 Varchar 显示错误
• [SPARK-33897] [SQL] 无法在联接方法中设置选项“交叉”
• [SPARK-33907] [SQL][3.1] 仅在分析选项为空时删除 JsonToStructs 列
• [SPARK-33621][SPARK-33784] [SQL][3.1] 添加用于注入数据源重写规则的方法
• [SPARK-33900] [WEBUI] 只有在 remotebytesread 可用时才会正确显示随机读取大小/记录数
• [SPARK-33892] [SQL] 在 DESC 和 CREATE TABLE 中显示 char/varchar
• [SPARK-33895] [SQL] Char 和 Varchar 在 ThriftServer 的 MetaOperation 中失败
• [SPARK-33659] [SS] 记录 DataStreamWriter.toTable API 的当前行为
• [SPARK-33893] [CORE] 从 executorList 中排除回退块管理器
• [SPARK-33277] [PYSPARK][sql] 任务结束后，使用 ContextAwareIterator 停止操作
• [SPARK-33889] [SQL][3.1] 在 v2 表中修复 SHOW PARTITIONS 中的 NPE
• [SPARK-33879] [SQL] Char Varchar 值作为分区列 w/ 匹配错误失败
• [SPARK-33877] [SQL] 用于 INSERT w/ 列列表的 SQL 参考文档
• [SPARK-33876] [SQL] 为从 w/ a 外部位置的表中读取 char/varchar 添加长度检查
• [SPARK-33846] [SQL] 在 StructType.toDDL 中包括嵌套架构的注释
• [SPARK-33860] [SQL] 使 CatalystTypeConverters convertToCatalyst 匹配特殊数组值
• [SPARK-33834] [SQL] 验证 ALTER TABLE CHANGE COLUMN 与 Char 和 Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN 和 BenchmarkQueryTest 不显示子查询代码
• [SPARK-33836] [SS][python] 公开 DataStreamReader.table 和 DataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] 重命名 v2 表应重新创建缓存
• [SPARK-33756] [SQL] 使 BytesToBytesMap 的 MapIterator 成为幂等的
• [SPARK-33850] [SQL] 如果启用了 AQE，EXPLAIN FORMATTED 就不显示子查询的计划
• [SPARK-33841] [CORE][3.1] 修复高负载下 SHS 中作业间歇性消失的问题
• [SPARK-33593] [SQL] 矢量读取器得到含有二进制分区值的不正确数据
• [SPARK-26341] [WEBUI] 在“阶段”选项卡中的阶段级公开执行程序的内存指标
• [SPARK-33831] [UI] 更新到 jetty 9.4.34
• [SPARK-33822] [SQL] 使用 HashJoin 中的 CastSupport.cast 方法
• [SPARK-33774] [ UI][core] 返回到 Master“ 在独立群集中返回 500 错误
• [SPARK-26199][SPARK-31517] [R] 修复处理策略… 变化的名称
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader 应为 package private
• [SPARK-33697] [SQL] 默认情况下，RemoveRedundantProjects 应需要列排序
• [SPARK-33752] [SQL][3.1] 避免 AnalysisException 的 getSimpleMessage 重复添加分号
• [SPARK-33788] [SQL][3.1][3.0][2.4] 从 HiveExternalCatalog.dropPartitions() 引发 NoSuchPartitionsException
• [SPARK-33803] [SQL] 通过 DESCRIBE TABLE 命令中的键对表属性进行排序
• [SPARK-33786] [SQL] 更改表名时，应当遵循缓存的存储级别
• [SPARK-33273] [SQL] 修复子查询执行中的争用条件
• [SPARK-33653] [SQL][3.1] DSv2：REFRESH TABLE 应重新缓存表本身
• [SPARK-33777] [SQL] 为 V2 SHOW PARTITIONS 输出排序
• [SPARK-33733] [SQL] PullOutNondeterministic 应当检查并收集确定性的字段
• [SPARK-33764] [SS] 将状态存储维护间隔设置为 SQL 配置
• [SPARK-33729] [SQL] 刷新缓存时， Spark 不应在重新缓存数据时使用缓存的计划
• [SPARK-33742] [SQL][3.1] 从 HiveExternalCatalog.createPartitions() 引发 PartitionsAlreadyExistException
• [SPARK-33706] [SQL] partitionExists() 中需要完全指定的分区标识符
• [SPARK-33740] [SQL] hive-site.xml 中的 hadoop 配置可能会替代预先存在的 hadoop 配置
• [SPARK-33692] [SQL] 视图应使用捕获的目录和命名空间来查找函数
• [SPARK-33669] 当 sc.stop 在 yarn 客户端模式下时 YARN 应用程序状态监视器出现错误消息
• [SPARK-32110] [SQL] 在 HyperLogLog++ 中规范化特殊浮点数
• [SPARK-33677] [SQL] 如果模式包含任何 escapeChar，则跳过 LikeSimplification 规则
• [SPARK-33693] [SQL] 弃用 spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] 使生成不正确结果的公共 API 中的新 char/varchar 类型无效
• [SPARK-32680] [SQL] 不要预处理包含未解析查询的 V2 CTAS
• [SPARK-33676] [SQL] 要求分区规则与 V2 ALTER TABLE .. ADD/DROP PARTITION 中的架构精确匹配
• [SPARK-33670] [SQL] 在 v1 SHOW TABLE EXTENDED 中验证分区提供程序是否为 Hive
• [SPARK-33663] [SQL] 不应在不存在的临时视图上调用 Uncaching
• [SPARK-33667] [SQL] 在 v1 spark.sql.caseSensitive 中解析分区规范时遵循 SHOW PARTITIONS 配置
• [SPARK-33652] [SQL] DSv2：DeleteFrom 应刷新缓存

维护更新

请参阅 Databricks Runtime 9.0 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.2 LTS
• Java：Zulu 8.54.0.21-CA-linux64
• Scala：2.12.10
• Python：3.8.10
• R：4.1.0 (2021-05-18)
• Delta Lake 1.0.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2021-07-28 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）