Databricks SQL 发行说明

本文列出了新的 Databricks SQL 功能和改进，以及已知问题和常见问题解答。

Databricks 会持续发布 Databricks SQL Web 应用程序用户界面的更新，所有用户都会在短时间内获得推出的相同更新。

此外，Databricks 通常会定期发布新的 SQL 仓库计算版本。 两个通道始终可用：“预览”和“当前”。

使用通道，你可以在“当前”SQL 仓库计算版本或“预览”版本之间进行选择。 预览版可让你在某些功能成为 Databricks SQL 标配之前试用这些功能。 利用预览版本针对即将发生的更改测试你的生产查询和仪表板。

通常，预览版本会在发布到预览版通道大约两周后升级为当前通道。 某些功能（如安全功能、维护更新和 bug 修复）可能会直接发布到当前通道。 Databricks 可能会经常将预览版本提升到当前的通道，并按不同的时间表进行。 每个新版本将在以下部分中公布。

若要了解如何将现有 SQL 仓库切换到预览版通道，请参阅预览版通道。 用户界面更新部分列出的功能独立于发行说明的修复的问题部分描述的 SQL 仓库计算版本。

当前频道：Databricks SQL 版本 2024.40

• 请参阅 2024.40 中的功能。

数据发现

• 目录资源管理器中的“世系”选项卡已重新设计，改进了实体筛选的 UI。

旧版仪表板：

• 解决了模板化工具提示未显示双轴和多字段轴图表的详细内容这一问题。

用户现在可以使用人类可读的语法而不是 CRON 计划来启动、创建和更改流式处理表和具体化视图的计划。 请参阅更改具体化视图、更改流式处理表、创建具体化视图和创建流式处理表。

现在可以使用时间旅行根据时间戳或表版本（正如事务日志中记录的那样）查询以前的表版本。 在使用时间旅行查询之前，可能需要刷新流式处理表。 请参阅什么是 Delta Lake 按时间顺序查看？。

具体化视图不支持时间旅行查询。

新的 SQL 编辑器（公共预览版）

• 现在可以使用键盘快捷键 Command （或 Ctrl） + Shift + Enter 运行活动 SQL 查询。
• 文本超出显示窗口时，参数输入区域现在会显示滚动条。
• 修复了阻止查询配置文件详细信息页完全打开的问题。
• 现在，可以通过在选项卡标题中键入新名称来重命名查询。
• 对于从未保存过的查询，现在已禁用“安排”按钮。

AI/BI 仪表板的发行说明已移至 AI/BI 发行说明。 未来的发行和更新将会记录在那里。

可以创建和配置工作区用户可以添加到某些工作流（例如警报、Databricks 作业和 AI/BI 仪表板计划）的通知目标，以便在事件运行时发送电子邮件或 Webhook。 请参阅管理通知目标。

流式处理表支持从云存储和消息队列进行增量引入；而具体化视图是预先计算的视图，当新数据到达时会自动增量更新。 请参阅“使用 Databricks SQL 中的具体化视图”和“在 Databricks SQL 中使用流式处理表加载数据”。

查询见解

• 新列 query_source、executed_as 和 executed_as_user_id 已添加到查询历史记录系统表。

本节中列出的功能独立于上述 SQL 仓库计算版本。

目录资源管理器

• 目录、架构、卷、模型和函数现在支持 AI 生成的注释，用户可以使用内联聊天助手来帮助编辑注释。

SQL AI 函数 vector_search() 函数现在以公共预览版形式提供。 请参阅 vector_search 函数

本节中列出的功能独立于上述 SQL 仓库计算版本。

SQL 编辑器

现在可以在 SQL 编辑器中使用命名参数标记语法。 命名参数标记语法可在 SQL 编辑器、笔记本和 AI/BI 仪表板中使用。 请参阅使用查询参数。

查询和旧版仪表板

对于 SQL 查询和旧版仪表板，已删除的项将不再出现在列表页面中。 在工作区回收站文件夹中查找已删除的项。 工作区管理员可以查看所有用户的回收站文件夹中已删除的项目。

Databricks SQL 版本 2024.40 包括以下行为变更、新功能和改进。

• 更改了视图的默认架构绑定模式

  视图现在使用常规强制转换规则来进行架构补偿，从而适应底层查询中的架构更改。 这与之前默认的 BINDING 模式不同，如果在引用视图时无法执行安全强制转换，后者会引发错误。

  请参阅 CREATE VIEW 和 cast 函数。

• 禁止在布尔表达式外部使用未记录的 ! 语法来代替 NOT

  在此版本中，不再允许在布尔表达式外部使用 ! 来代替 NOT。 例如，CREATE ... IF ! EXISTS、IS !NULL、! NULL 列或字段属性、! IN 和 !BETWEEN 等语句必须替换为 CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列或字段属性、NOT IN 和 NOT BETWEEN。

  此更改可确保一致性、遵守 SQL 标准，并使 SQL 更易于移植。

  布尔前缀运算符 !（例如，!is_mgr 或 !(true AND false)）不受此更改影响。

• 禁止视图中的未记录列定义语法

  Databricks 支持使用命名列和列注释的 CREATE VIEW。 以前，允许指定 NOT NULL 约束或 DEFAULT 列类型。 在此版本中，不能再使用此语法。

  此更改可确保一致性、遵守 SQL 标准，并支持将来的增强功能。

• 在无效列上添加 CHECK 约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类

  在 Databricks Runtime 15.3 及更高版本中，包含某个引用无效列名的 CHECK 约束的 ALTER TABLE ADD CONSTRAINT 语句会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类，这是为了提供更有用的错误消息。 以前返回 INTERNAL_ERROR。

• 使用 ALTER TABLE 启用 UniForm Iceberg

  现在可以在现有表上启用 UniForm Iceberg，而无需重写数据文件。 请参阅通过更改现有表来启用。

• UTF-8 验证函数

  此版本引入了以下 UTF-8 字符串验证函数：

  • is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
  • make_valid_utf8 使用替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串
  • 如果输入不是有效的 UTF-8 字符串，则 validate_utf8 会引发错误。
  • 如果输入不是有效的 UTF-8 字符串，则 try_validate_utf8 返回 NULL。

• to_avro 和 from_avro 函数

  to_avro 和 from_avro 函数允许将 SQL 类型转换为 Avro 二进制数据并返回。

• try_url_decode 函数

  此版本引入了 try_url_decode 函数，可以对 URL 编码字符串进行解码。 如果字符串的格式不正确，该函数将返回 NULL，而不是引发错误。

• 选择性地允许优化器依赖于未强制实施的外键约束

  若要提高查询性能，现在可以在对表执行 CREATE 或 ALTER 操作时，在 FOREIGN KEY 约束上指定 RELY 关键字。

• 支持删除 CHECK 约束表功能

  使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。

• 并行化作业运行实现选择性覆盖

  使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。

• 通过选择性覆盖改进了更改数据源的性能

  使用 replaceWhere 对具有更改数据源的表进行选择性覆盖时，不再为插入的数据写入单独的更改数据文件。 这些操作使用基础 Parquet 数据文件中的隐藏 _change_type 列来记录更改，从而避免写入放大。

• 降低了 COPY INTO 命令的查询延迟

  此版本包含一项更改，可降低 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后，你应会看到具有较大状态的查询（例如，具有大量已引入文件的查询）的启动时间有所改善。

本节中列出的功能独立于上述 SQL 仓库计算版本。

可视化效果

• 工具提示总计现在仅针对堆积图表显示。

可视化效果

对于分组和多字段配置，只要将光标悬停在图表元素上，工具提示现在就会显示总计。

可视化效果

修复了更改页面大小后表可视化中的行号未更新的问题。

数据发现

现在支持在 Unity Catalog 表中展开和折叠嵌套的复杂列类型。

可视化效果：

• 现在，由于筛选而更改数据时，会保留表的排序。

SQL 编辑器：

• 通过在查询的最后一行和结果输出之间添加额外的填充，提高了可读性。

Databricks REST API：

• 用于管理查询、警报、数据源和权限的 API 已更改。 旧版本将继续受支持六个月。 此过渡期旨在提供足够的时间来将应用程序和集成迁移到新版本，然后再逐步淘汰旧版本。请参阅更新到最新的 Databricks SQL API 版本

目录资源管理器：

• 现在，一个新的目录配置向导可用于在创建目录时设置工作区绑定、目录特权和元数据。

SQL 仓库监视：

• “可以监视”权限现已正式发布。 它允许特权用户监视 SQL 仓库，包括关联的查询历史记录和查询配置文件。 请参阅矢量搜索终结点 ACL。

推出计划：2024.35 预览版推出：7 月 9 日至 7 月 15 日之间

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。

现已在 Spark DataFrames 和 SQL 中提供对于将半结构化数据用作 VARIANT 类型的内置 Apache Spark 支持。 请参阅查询变体数据。

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅Delta Lake 中的变体支持。

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

此版本包括改进某些 Spark 窗口函数（特别是不包含 ORDER BY 子句或 window_frame 参数的函数）的性能的更改。 在这些情况下，系统可重写查询，以使用聚合函数运行查询。 这一更改通过使用部分聚合并避免运行窗口函数的开销，使查询运行得更快。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，且默认设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持通过将两个数值相除来计算与 ANSI SQL 兼容的整数余数。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。

SQL 编辑器：

SQL 编辑器中现在提供了内联助手。 单击编辑器框中的助手图标可切换输入。 用英文键入问题或评论，然后按 Enter 键（而不是按 Shift+Enter 键，按此组合键会运行查询）可直接在编辑器中通过另一个视图来生成回复。

平台：

适用于通知目标的 API 现已推出。 现在，你可以通过编程方式管理警报和作业运行通知的 webhook 和电子邮件目标。 请参阅通知目标。

推出计划：2024.30 预览版推出：7 月 9 日至 7 月 15 日之间

Lakehouse Federation 连接器现已正式发布 (GA)，支持以下数据库类型：

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

此版本还引入了以下改进：

• 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录 (SSO) 身份验证。

• 对无服务器计算环境中的 SQL Server 连接器的 Azure 专用链接支持。 请参阅步骤 3：创建专用终结点规则。

• 支持更多下推（字符串、数学、杂项函数）。

• 改进了不同查询形状的下推成功率。

• 其他下推调试功能：

  • EXPLAIN FORMATTED 输出显示下推的查询文本。
  • 查询配置文件 UI 显示下推的查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅查看系统生成的联合查询。

运行 DESCRIBE HISTORY 查询时，operationParameters 列默认显示 CREATE OR REPLACE 和 OPTIMIZE 操作的 clusterBy 字段。 对于使用 liquid 聚类分析的 Delta 表，clusterBy 字段将填充表的聚类分析列。 如果表不使用 liquid 聚类分析，则字段为空。

Databricks Runtime 中对主键和外键的支持已正式发布。 GA 版本对使用主键和外键所需的权限进行了以下更改：

• 要定义外键，必须对外键所引用的主键所属的表具有 SELECT 权限。 不需要拥有具有主键的表，这在以前是必需的。
• 使用 CASCADE 子句删除主键不需要对定义引用主键的外键的表具有权限。 以前，需要拥有引用表。
• 现在，删除包含约束的表所需的权限与删除不包含约束的表所需的权限相同。

要了解如何对表或视图使用主键和外键，请参阅 CONSTRAINT 子句、ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。

现在，使用 Databricks Runtime 15.2 及更高版本，通常可以获得对 liquid 聚类分析的支持。 请参阅对 Delta 表使用 liquid 聚类分析。

现在，可以在由 Delta Lake 支持的表上启用类型扩展。 启用了类型扩展的表允许将列的类型更改为更宽的数据类型，而无需重写基础数据文件。 请参阅类型扩展。

现在可以将 WITH SCHEMA EVOLUTION 子句添加到 SQL 合并语句，以便为操作启用架构演变。 请参阅“合并的架构演变语法”。

现在可以指定在 Delta 表上运行 VACUUM 命令时要考虑的文件清单。 请参阅 OSS Delta 文档。

现在可以使用 zst_compress、zstd_decompress 和 try_zstd_decompress 函数来压缩和解压缩 BINARY 数据。

在 SQL UI 中显示时，查询计划中的 write 命令会错误地将 PhotonWriteStage 显示为运算符。 在此版本中，UI 已更新为将 PhotonWriteStage 显示为阶段。 这只是一项 UI 更改，不会影响查询的运行方式。

API 支持：

• 现在可以使用 REST API 管理通知目标。 请参阅通知目标。

Databricks SQL 具体化视图和流式处理表中的行筛选器和列掩码是公共预览版。 公共预览版包括以下更改：

• 可以向 Databricks SQL 具体化视图或流式处理表中添加行筛选器和列掩码。

  • 可以在包含行筛选器和列掩码的表上定义 Databricks SQL 具体化视图或流式处理表。

  请参阅创建具体化视图和创建流式处理表。

可视化效果：

• 改进了将鼠标悬停在有许多数据点的饼图、散点图和热度地图上时显示工具提示的交互性。

目录资源管理器：

• 经过改进的目录资源管理器 UI 使用户更容易从“快速访问”视图中发现和收藏最近的 Unity Catalog 资产。 导航体验也得到了简化，支持使用屏幕左上角的 “设置”浏览计算、存储、凭据、连接、DBFS 和管理详细信息。 “增量共享”、“清理室”和“外部数据”现在拥有专用页面。

导致 Databricks SQL 具体化视图和流式处理表上的 ALTER SCHEDULE 查询仅在下一次执行刷新操作后才生效的问题已得到修复。 现在，ALTER SCHEDULE 查询会立即应用。 请参阅计划具体化视图刷新。

Databricks SQL 中的具体化视图和流式处理表以公共预览版提供，可供所有客户使用。 公共预览版包括以下更改：

• 默认情况下，Databricks SQL 中的具体化视图和流式处理表的 REFRESH 现在是同步的。 请参阅 REFRESH (MATERIALIZED VIEW 或 STREAMING TABLE)。
  • 在对 Databricks SQL 具体化视图或流式处理表执行刷新操作期间发生的错误将返回到 SQL 编辑器中。

仪表板：

• 帐户用户现在可以从已发布的仪表板下载可视化数据
• 现在，可以使用仪表板顶部附近的“草稿/发布”下拉菜单发布尚未发布的仪表板。
• 修复了无法检测到名为 limit 的参数的问题。

可视化效果：

• 改进了深色模式下的箱线图呈现效果。

查询见解：

• 对于附加到 SQL 仓库的所有笔记本，可以通过单击包含查询的单元格下方的“查看性能”来访问查询配置文件。 如果单元格包含多个查询，将为每个语句提供指向每个查询配置文件的链接。

“可以监视”权限，允许用户监视 SQL 仓库，包括关联的查询历史记录和查询配置文件。 “可以监视”权限目前为公共预览版。 请参阅矢量搜索终结点 ACL。

仪表板改进：

• 在仪表板小组件中添加了 kebab 菜单，用于下载图像和数据。
• 用户可以将旧版仪表板查询支持的参数和下拉列表参数迁移到仪表板。

• 现在可以在工作区中选择多个项来移动或删除。 选择多个对象后，将会显示一个操作栏，其中提供用于移动或删除项的选项。 此外，你还可以使用鼠标选择多个项，并将其拖动到新位置。 在执行批量移动和删除操作期间，对象上的现有权限仍适用。
• 现在，可在目录资源管理器和架构浏览器中将 Unity Catalog 资产标记为收藏。 这包括目录、架构、表、模型、卷和函数。 可轻松从 Azure Databricks 主页访问标记为收藏的 Unity Catalog 资产。

仪表板更新：

• 双轴组合图现在正确地在右轴上显示条形图例，并相应地显示折线图例。
• 双轴图现在正确地在条形上显示标签。

可视化效果更新：

• 表编辑器的条件格式标签针对 if 和 then 现在支持深色模式。
• 已从表编辑器的格式工具提示中删除冗余的打开链接图标。
• 表格编辑器中的默认字体颜色标签现在会自动对齐。

推出时间表

• 2024.25 预览：5 月 1 日完成
• 2024.25 的当前推出时间：5 月 14 日至 5 月 21 日

已弃用凭据直通和 Hive 元存储表访问控制。

凭据直通和 Hive 元存储表访问控制是旧数据治理模型。 升级到 Unity Catalog 可提供一个集中位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity Catalog？。

在即将推出的 DBR 版本中，将移除对凭据直通和 Hive 元存储表访问控制的支持。

WHERE 子句现支持 *（星号）子句。

现可在 WHERE 子句中使用星号 (*) 子句以引用 SELECT 列表中的所有列。 例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

现在，你可以使用 Cloudflare R2 作为云存储来存储 Unity Catalog 中注册的数据。 Cloudflare R2 主要用于下述 Delta Sharing 用例：当数据跨区域传输时，你希望避免云提供商收取数据流出量费用。

Cloudflare R2 存储支持 Azure Data Lake Storage Gen2 中支持的所有 Databricks 数据和 AI 资产。

请参阅使用 Cloudflare R2 副本或将存储迁移到 R2和创建用于连接到 Cloudflare R2 的存储凭据。

本节中列出的功能独立于上述 SQL 仓库计算版本。

数据发现更新：Hive 元存储值 Unity Catalog 更新向导支持使用通用计算或 SQL 仓库升级 Hive 元存储管理的表。 更新 20 多个表会创建新的笔记本，其中包含执行转换的 SYNC AND ALTER TABLE 命令。

仪表板更新：

• 双轴功能现在可用于面积图、条形图、折线图和散点图类型。
  • 启用双轴图表时，轴标题和范围将不再复制到辅助轴。
  • 可视化效果配置中标识的最后一个字段将自动重新定位到右侧 y 轴。

SQL 编辑器修补程序：

• 管理员设置结果表剪贴板功能现在适用于 SQL 编辑器新结果表。

仪表板改进：

• 基于查询的参数允许作者定义一个可选择值的列表，观看者可将这些值用作仪表板画布上其他可视化效果的参数。 请参阅使用基于查询的参数。
• 现在会保留从表小组件下载的文件中的列顺序。
• 表编辑器现在包括显示列名称的悬停工具提示。
• 从其他可视化效果类型切换到直方图时，现在可以更好地保留信息编码。

仪表板修复：

• 修复了单个网格高度筛选器显示不必要的溢出滚动条的问题。
• 修复了在已删除引用数据集列的已发布仪表板上错误呈现可视化效果的问题。

仪表板更新：

• 现在可以将查询和可视化效果从 SQL 编辑器复制到新的仪表板。 仍然可以从 SQL 编辑器将可视化效果添加到旧仪表板。 请参阅编辑、下载或添加到仪表板。
• 仪表板现在将维护一个 24 小时结果缓存，以优化初始加载时间。 请参阅数据集优化和缓存。
• 在 Databricks 助手响应中，带有分类 X 和量化 Y 的条形图现在会进行排序。
• 更正了旧版直方图 COUNT (*) 的迁移问题，以确保准确的迁移。
• 实现了在筛选器小组件中混合使用数字类型和日期类型的功能。
• 创建图表时，Databricks 助手现在会在你进行键入时自动建议相关列。

可视化效果更新：

• 现在，用户为表格选择的颜色在旧版图表中的浅色模式和深色模式下保持不变。
• 数据截断逻辑已改进，提高了组合图、饼图、热度地图和直方图的性能。
• 现在，刻度线始终显示在基本图表的量化轴顶部。

UI 更新：

• 对于 UI 中的所有“共享”对话框，“All Users”组已重命名为“All Workspace Users”。 新名称更准确地反映了组的范围，该组始终包含分配到工作区的用户。 进行此重命名时，组成员身份不会发生任何更改。

仪表板改进：

• 当仪表板的 SQL 仓库启动时，将显示一个对话框来解释等待时间。
• 在“画布”选项卡和“数据”选项卡之间切换时，滚动位置会保留。
• 克隆旧仪表板以创建 Lakeview 仪表板的操作现在支持某些参数转换。 请参阅调整旧的参数。
• 日期和日期时间参数现在支持相对日期，例如“今天”、“明天”和“7 天前”。
• 数字范围滑块可以添加为仪表板上的筛选器。
• 直方图现在可以显示分类数据。
• 散点图现在支持大小编码。

仪表板修复：

• 时态颜色编码现在可以正确更改颜色分配。

可视化效果更新：

• 自定义工具顶部格式现在可以正确用于多轴图表。
• 如果用户在过去 14 天内未更改切换开关，则会删除“新图表”预览标记。

Lakeview 仪表板现在是默认的仪表板工具。 它们已在 UI 中重命名为仪表板。 Databricks SQL 仪表板现在称为旧版仪表板。 相关 API 工具的名称未更改。

• 仪表板改进：
  • 审核日志可用于 Lakeview 仪表板。 请参阅仪表板事件。
  • 从仪表板下载的数据遵循应用的参数。
  • Databricks 助手在“数据”选项卡上启用，无需先添加数据集。
  • 具有多个 Y 字段的堆叠条形图可以支持基于 Y 轴值之和对 X 轴进行排序。
  • 在可视化轴菜单中的 Linear 和 Log(Symmetric) 缩放函数之间切换。
  • 筛选器小组件的默认大小现在更紧凑了。
  • 文本输入筛选器小组件的初始加载时间已减少。
  • 改进了从旧仪表板迁移时的自动图表转换。
• 仪表板修复：
  • 受限的查看设置警告不会显示仪表板是否已与他人共享。
  • “数据”选项卡 SQL 编辑器中的错误消息现在启用了深色模式。

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 堆叠图表上的工具提示现在默认显示堆叠值和百分比。
• 多轴图表的工具提示现在会突出显示鼠标悬停的项目。
• Databricks SQL 的表可视化效果现在可在 SQL 编辑器中编辑时，调整新的查询结果的数据类型。
• 目录资源管理器的查询历史记录表显示查询源属性的树状视图。 可以用它来查看哪些实体触发了要运行的查询语句。

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 在 Databricks SQL 和笔记本中创建可视化效果时，现在可以按百分比分组。
• 对于新图表（在公共预览版中），可以通过单击并拖动与轴平行的直线沿单个轴放大。
• Unity Catalog 共享群集“允许列表”UI 现已正式发布。 可以在 Catalog Explorer 的元存储详细信息页上访问它。 请参阅如何将项添加到允许列表。
• 用于创建和编辑外部位置的窗体现在会以完整页面的形式打开。 其中包括包含存储凭据的选项。

修复：

• 更正了直方图表的一个问题，即负值错误地标记为正值。

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 对 Lakeview 仪表板上的直方图表的改进。

  • 添加了对标签的支持。
  • 在不同字段之间切换时，现在会保留 Bin 设置。

• 仪表板列表页上的示例库现在会创建 Lakeview 仪表板。 请参阅教程：使用示例仪表板。

• 右键单击 Lakeview 仪表板上小组件的边框可打开上下文菜单。

• 保留了左侧导航栏，供工作区用户查看已发布的 Lakeview 仪表板。

• 在已发布的和草稿 Lakeview 仪表板之间导航时，会保留筛选器选择。

• 现在，在草稿 Lakeview 仪表板的“数据”选项卡中编辑查询时，可以将列名称插入到 SQL 编辑器中。

• 替换 Lakeview 仪表板会保留现有仪表板名称并替换内容。

• 现在，在热度地图和其他图表类型之间切换可视化效果可以更好地保留相关字段。

修复：

• 具有颜色编码的条形图现在可以正确限制添加多个 Y 轴字段的操作。
• 解决了某些可视化效果中缺少“下载为 PNG”按钮的问题。
• 更正了较大负整数的格式，以前其中缺少千位分隔符。
• 修复了将鼠标悬停在折线图中的标签上时悬停线位置不正确的问题。

推出时间表

• 2024.15 预览版推出时间：2 月 14 日至 3 月 4 日之间
• 2024.15 当前版推出时间：3 月 25 日至 4 月 8 日之间

• Delta UniForm 现已正式发布：UniForm 现已正式发布，使用 IcebergCompatV2 表功能。 你现在可以对现有表启用或升级 UniForm。 请参阅通过 Iceberg 客户端使用 UniForm 读取 Delta 表。
• 重新计算 Delta 表的数据跳过统计信息：你现在可以在更改用于数据跳过的列后重新计算存储在 Delta 日志中的统计信息。 请参阅指定增量统计信息列。

• 在 SQL 会话中声明临时变量：此版本引入了在会话中声明临时变量的功能，你可以先设置这些临时变量，然后在查询中引用它们。 请参阅 变量。
• 原生 XML 文件格式支持（公共预览版）：原生 XML 文件格式支持现为公共预览版。 XML 文件格式支持启用对 XML 数据的引入、查询和分析，以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型，支持 SQL 表达式（例如 from_xml）并生成 XML 文档。 它不需要使用外部 jar，可与自动加载程序、read_files、COPY INTO 和增量实时表无缝配合。 请参阅读取和写入 XML 文件。

Databricks SQL 2024.15 包含 Apache Spark 3.5.0。 Databricks Runtime 14.3 发行说明中列出了 SQL 的其他 bug 修复和改进。 请参阅 Apache Spark 并查找 [SQL] 标记以获得完整列表。

本节中列出的功能独立于上述 SQL 仓库计算版本。

• 目录资源管理器实体页面中的新概述选项卡显示重要的元数据，例如文件大小、数据源、所有者、表架构和注释。

• Lakeview 仪表板更新：

  • Lakeview 仪表板现在支持参数。 作者可以从“数据”选项卡向数据集查询添加参数，然后使用单值选择器和日期选取器在画布上设置参数。 请参阅使用仪表板参数。
  • 工作区权限 API 现在支持 Lakeview 仪表板。 请参阅 REST API 参考中的 PATCH /api/workspace/workspace/updatepermissions。
  • 画布上的“控件”小组件已重命名为“筛选器”小组件。
  • 组合图表不再允许在 X 轴上出现非聚合字段。
  • “共享”对话框中的“复制链接”按钮现在包含存储在 URL 中的参数。
  • 已发布仪表板上的小组件在悬停时不再显示边框。
  • 解决了 Databricks 助手和下载 PNG 按钮与图表视觉对象重叠的问题。

• 现在，在热度地图和其他图表类型之间切换可视化效果可以更好地保留相关字段。

• 具有颜色编码的条形图现在可以正确限制添加多个 Y 轴字段的操作。

• Unity Catalog 模型世系现为公共预览版。

目录资源管理器中的表视图现在有一个“概述”选项卡，用于描述其主要元数据。

• 适用于笔记本的 SQL 仓库现已正式发布，使你能够在笔记本丰富的协作创作环境中利用完全托管、即时且可缩放的计算来处理 SQL 工作负荷。 请参阅将笔记本与 SQL 仓库配合使用。

以下修复和改进适用于 Lakeview 仪表板：

• 对 Lakeview 的扩展 API 支持增加了对仪表板执行创建、获取、更新和放入回收站操作的功能。 请参阅 REST API 参考中的 Lakeview。
• 在“数据”选项卡上为目录浏览器添加了刷新按钮。
• “Lakeview 仪表板”现在显示在工作区边栏的“新建”菜单中的“仪表板”之前。 在仪表板列表页上，“Lakeview 仪表板”选项卡显示在“仪表板”选项卡的左侧。
• Lakeview 的 Databricks 助手体验已更新，增加了输入框和建议，用于提高可发现性并帮助用户理解其可以提出的提示。
• Lakeview 可视化效果现在支持中值聚合。
• 更新了 Lakeview 仪表板可视化效果编辑器中的颜色选取器，以在创建表时提供更简化的用户体验。
• 改进了饼图迁移，以专门支持具有角度或颜色定义的方案。
• 修复了一个阻止按名为“count”的图表进行分组的 bug。 现在可以按名为“count”的字段对图表进行分组。
• 现在，条形图的“组”和“堆栈”布局控件在不适合用户选择的配置时会隐藏。

对于 Lakeview 仪表板：

• 直方图现在支持自定义分类颜色。

  • 热度地图现在支持定量缩放。
  • 在可视化效果类型（包括组合图）之间切换时，将保留标题和说明。
  • 现在，可以通过右键单击它来打开与草稿仪表板小组件关联的基础数据集。 数据集将在“数据”选项卡中打开。

• 新图表现在对数值列中的 null 值应用别名和自定义颜色。

• 新图表现在呈现刻度线以显示 y 轴顶部。

• 在 Catalog Explorer 中查看表时，“创建”按钮包括一个用于创建 Lakeview 仪表板而不是 Databricks SQL 仪表板的选项。

• 直方图现在可用于 Lakeview 仪表板。 直方图通常用于可视化数值字段的分布。

• 克隆 Databricks SQL 仪表板以创建 Lakeview 仪表板时，数据集转换问题现在在 Lakeview 仪表板上的新小组件中显示为错误。

• 当数值字段用于 Lakeview 仪表板上的可视化效果时，颜色渐变可用。

• 指定“按字段着色”时，现在会在 Lakeview 仪表板可视化编辑器中公开颜色渐变。

• 如果查看者在 Lakeview 草稿仪表板上缺少编辑权限，则与可视化效果关联的标题和说明不再可编辑。

• 修复了具有 100 多个系列的图表中的工具提示错误地显示所有系列的问题。 现在，仅显示关注的系列。

• 通过性能优化将 SQL 编辑器中的键入延迟减少 30%。

• 在 SQL 编辑器中管理查询时，将查询移动到回收站会自动关闭选项卡。

• 修复了 SQL 编辑器中调整侧面板宽度时意外选择文本的问题。

• 目录资源管理器中的架构浏览器现在会显示列主键和外键约束。

• 目录资源管理器的“世系”选项卡中显示的保留时间已增加至一年。

• 笔记本中新图表上的工具提示现在始终呈现在可视化边界内。

• 了解如何使用 REST API 以编程方式管理 Lakeview 仪表板。 请参阅 使用工作区 API 管理仪表板。

• Lakeview 仪表板现在支持直方图。

• 改进了 Lakeview 仪表板中的共享和发布功能：

  • 改进了共享和发布对话框，允许安全轻松地与任何帐户用户共享。
  • 从工作区浏览器打开的仪表板会显示已发布的仪表板（如果存在）。 查看者现在还可以查看最新发布版本的详细信息，包括发布者、时间和凭据。
  • 对于编辑者而言，Lakeview 仪表板 UI 中的新下拉切换器可让他们在草稿版和已发布版本之间快速移动。

• 改进了目录资源管理器表视图中的“示例数据”选项卡，可对列进行排序，将所选数据复制到剪贴板，并查看行号。 现在可以更好地显示特殊值，例如 JSON 对象、日期、数字和 null 值。

• Lakeview 仪表板现在支持向工作区用户和通知目标发送仪表板的定期 PDF 快照。 请参阅计划和订阅。

• Lakeview 下拉列表选取器中的可视化选项列表现在按字母顺序排序。

• 将 Databricks SQL 仪表板复制到 Lakeview 仪表板时，无法转换的小组件现在会显示可视化配置选取器，而不是错误消息。

• 已删除基于代码的查询筛选例器（例如 SELECT action AS 'action::filter'）的文档。 Databricks 建议更新查询以删除此模式。

• 对于 Lakeview 仪表板，饼图现在在未指定角度字段时显示相同大小的切片。

• Lakeview 现在支持组合图，将条形图和折线图组合在一起，以在同一个图表上显示两个不同的值。

• 热度地图使用颜色强度显示两个离散变量之间的关联程度，现已在 Lakeview 中提供。

• 现在，你可以在打开指向你无权访问的 Lakeview 仪表板的链接时请求访问权限。
• Lakeview 仪表板筛选器现在具有显式“全部”和“无”选项。 作者可以选择在单选筛选器中隐藏“全部”选项。
• 现在可以在 Lakeview 仪表板图表上设置轴的最小值和最大值。

推出时间表

• 2024.10 预览版推出时间：2024 年 1 月 30 日至 2024 年 2 月 5 日
• 2024.10 当前版推出时间：2023 年 2 月 13 日至 2024 年 2 月 20 日

2024.10 中的更改

• 修复了 DML 命令中的损坏文件处理：DML 命令 DELETE、UPDATE 和 MERGE INTO 不再遵循读取选项 ignoreCorruptFiles 和 ignoreMissingFiles。 在表中遇到不可读的文件时，即使指定了这些选项，这些命令现在也会失败。
• 行级别并发已正式发布，默认情况下处于启用状态：行级别并发通过检测行级别的更改来减少并发写入操作之间的冲突。 仅无分区的表上才支持行级并发，包括使用 liquid 聚类的表。 启用了删除向量的 Delta 表上会默认启用行级并发。 请参阅行级并发的写入冲突。
• Unity Catalog 外部表的浅表克隆（公共预览版）：现在可以对 Unity Catalog 外部表使用浅表克隆。 请参阅适用于 Unity Catalog 表的浅表克隆。
• 更快的多线程统计信息收集：当运行 CONVERT TO DELTA 或从 Iceberg 和 Parquet 表克隆时，小型群集上的统计信息收集速度最高可提高 10 倍。 请参阅转换为 Delta Lake 和以增量方式将 Parquet 和 Iceberg 表克隆到 Delta Lake。
• Delta 文件的 DeltaSource 中的下推筛选器：为了获得更高的利用率，Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta，然后再进行速率限制。

本节中列出的功能独立于上述 SQL 仓库计算版本。

• Databricks SQL 对象（查询、仪表板和警报）列表页面上的“管理员视图”选项卡已删除。 工作区管理员用户可以从各自的列表页查看所有对象。 请参阅访问和管理保存的查询、旧版仪表板以及什么是 Databricks SQL 警报？。

• 查询历史记录页默认显示过去 24 小时内的查询。 请参阅查询历史记录。

• “克隆到 Lakeview 仪表板”菜单选项已添加到 Databricks SQL 仪表板 UI。 可以使用此工具创建新的 Lakeview 仪表板，其中包含现有 Databricks SQL 仪表板中的相同查询和可视化效果。 请参阅将旧仪表板克隆到 AI/BI 仪表板。

• Lakeview 仪表板中的条形图支持堆叠条形图标准化为 100%。

• 修复了以下问题：在已发布的 Lakeview 仪表板上执行放大操作导致专注于不正确的缩放间隔。

• Lakeview 仪表板画布可自动调整小组件位置，以尽可能移除行之间的垂直空白。
• 减少了 Lakeview 仪表板可视化效果中标题和说明文本之间的空白。

• 修复了一个可视化效果的呈现问题：条形图在 x 轴上显示单个日期，导致条形图非常细。 新的图表可视化效果呈现符合预期。

• 默认情况下，Lakeview 仪表板列表页会显示仪表板。 可以使用该页面上的筛选器来访问其他工作区用户拥有的 Lakeview 仪表板。

• Databricks SQL 查询和仪表板 API 支持以编程方式更改运行方式角色设置。

• Lakeview 支持将仪表板导出和导入为文件，以便跨工作区重现草稿仪表板。 请参阅导出、导入或替换仪表板

• 在目录资源管理器中引入了主键和外键实体关系图。 请参阅《查看实体关系图》。

• Lakeview 计数器可视化效果类型会在比较主要的“值”和“目标”字段中的 BigInt 值时显示颜色。

• 在 Lakeview 中的表上切换列可见性时出现的工具提示已得到改进。 它们的行为符合预期，但不会持续存在。

• 用户现在可以使用 Databricks 助手在 Lakeview 中创建可视化效果。 请参阅使用 Databricks 助手创建可视化效果。

• 就新图表来说，热度地图类型图表遵循 reverseY 设置。

• 修复了具有大量可视化效果的笔记本的渲染性能问题。

• 修复了在没有手动页面刷新的情况下，Lakeview 仪表板未显示在 Lakeview 列表页中的 bug。
• 在将 Lakeview 小部件放置在画布上时，使用 Esc 键取消其创建。
• 目录资源管理器现在会在 UI 中显示矢量搜索索引，作为 Mosaic AI 矢量搜索公共预览版的一部分。

• 可以将 Lakeview 仪表板添加到收藏夹，以便快速访问。

• 起草 Lakeview 仪表板时，支持复制和粘贴键盘快捷方式。 此外，还可使用 Delete 键删除选定的小组件。

• 增强了 Lakeview 小组件标题和说明，以防止在加载期间剪辑文本。

• 更正了大整数值被错误地显示为浮点数的可视化效果格式设置问题。

• 修复了 Databricks SQL 仪表板的问题：展开的图表视图有时会显示空白图表。

• X 轴和 Y 轴上都有定量字段的条形图可呈现更清晰的数据标签。

• 修复了 SQL 编辑器中的问题，使标题中包含单词 stream 的表不再与保留关键字冲突。 现在，这些表会按预期显示在架构浏览器中，并且不会错误地突出显示。

• 查询历史记录页现在支持列大小调整和列选择。

• 查询历史记录页支持两个新列：查询源和查询源类型。

• BI 选项（如 Tableau 和 Power BI）在符合条件的页面上的目录资源管理器中更容易找到。

本节中列出的功能独立于上述 SQL 仓库计算版本。

• Lakeview 中的饼图现在可以分配自定义颜色。

• 在兼容字段类型之间切换时，可视化效果转换会保留在 Lakeview 中。

• Lakeview 饼图角度通道添加了标题设置。

• Lakeview 数据集下拉列表现在可搜索，以便更轻松地进行导航。

• Lakeview 支持 10,000 以下值的完整数值显示，不再使用缩写。

• Lakeview 中添加了颜色代码分类日期字段功能。

• Lakeview 用户现在可以使用光标突出显示图表图例，以复制和粘贴值。

• Lakeview 中的饼图现在提供标签切换选项。

• 所有 Lakeview 可视化效果默认使用标准化的蓝色。

• 转换中的 Lakeview 列图标现在统一与所使用的转换方法匹配。

• Lakeview 编辑面板中的控件现在自动换行，以提高可读性。

• Lakeview 可视化效果发布了一款增强的颜色编辑器。

• Lakeview 中表格字体的控件现在支持换行以增强可读性。

• 改进了新图表中标签在深色模式下的兼容性。

• 新图表现在在条形中始终优先显示标签。

• 修复了 SQL 编辑器中某些右键单击菜单操作不起作用的 bug。

本节中列出的功能独立于上述 SQL 仓库计算版本。

• Databricks SQL 查询、警报和仪表板具有新的计划程序和计划界面。

• 由于具有较大的重设大小触发器区域，Lakeview 小组件现在更易于重设大小。

• 工作区管理员现在可以更改 Lakeview 仪表板的所有者。 从 Lakeview 仪表板上的编辑模式：

  • 单击“共享”
  • 单击
  • 单击“分配新所有者”

• 用户可以在 Lakeview 中打开或关闭标签。

可视化效果：

• 新的图表标签现在更倾向于尽量位于条形图内。
• 新的图表标签现在可以正确显示在宽度足以显示整个标签的堆积条形图上。
• 条形图中的标签颜色现在更加一致。

亮点：

• 现在可以在 SQL 和 Python UDF 上使用命名的参数调用。

SQL 语言更新：添加了以下内置函数：

• from_xml：将 XML STRING 分析为 STRUCT。
• schema_of_xml：从 XML 派生架构STRING。
• session_user：返回已登录的用户。
• try_reflect：如果 Java 方法失败，则返回 NULL 而不是异常。

增强了以下内置函数：

• 函数调用。 函数的表参数支持分区和排序：现在可以使用 PARTITION BY 和 ORDER BY 子句来控制如何将表参数传递给函数。
• mode：支持强制确定性结果的可选参数。
• to_char：对 DATE、TIMESTAMP 和 BINARY 的新支持。
• to_varchar：对 DATE、TIMESTAMP 和 BINARY 的新支持。
• array_insert() 对于负索引是基于 1 的：array_insert 函数对于正索引和负索引都是基于 1。 现在，它在索引 -1 的输入数组末尾插入新元素。

本节中列出的功能独立于上述 SQL 仓库计算版本。

可视化效果：

• 新图表的工具提示仅显示高基数图表的悬停项。
• 新图表会自动将双轴图表对齐为零。
• 图表将旋转的标签和轴文本角度方向从 -90 度更改为 90 度。
• 图表现在使用标签的宽度来决定旋转。

Lakeview 仪表板：

• 修复：当只返回少量行时，Lakeview 仪表板中的表行不再添加垂直填充。
• 克隆新 Lakeview 仪表板小组件首先尝试将克隆放置在原始仪表板小组件的右侧，前提是画布上有足够的空间。 如果可用空间不足，则将克隆放置在原始项下方。
• 现在，可以通过“共享”对话重新分配 Lakeview 仪表板的所有者。

SQL 编辑器：自动完成现在不那么主动了，在语句结束时自动取消

改进：

以下是对 Lakeview 仪表板世系的改进：

• 为表、视图和具体化视图添加了不同的图标。
• 在存在许多上游数据源的情况下添加了对垂直滚动的支持。
• 改进了查看器缺少上游对象权限时出现的错误消息。
• 澄清了有关示例数据表和 HMS 数据的消息传送。
• 向上游数据源添加键值标签。

修复：

• 修复了新图表中的一个问题，该问题在用布尔值重命名系列后阻止呈现。

亮点：

• 更新的预测性 I/O 现已正式发布。 请参阅什么是预测性 I/O？
• 删除向量现已正式发布。 请参阅什么是删除向量？

查询优化：

• 如果外部联接都是不同的聚合函数，则移除它们。 SPARK-42583
• 优化了筛选谓词的顺序。 SPARK-40045

SQL 函数更新：

• 添加了对 Aggregate 的隐式横向列别名解析的支持。 SPARK-41631
• 在使用窗口的查询中支持隐式横向列别名。 SPARK-42217
• 支持 Datasketches HLLSketch。 请参阅 hll_sketch_agg 聚合函数。
• 添加了 try_aes_decrypt() 函数。 请参阅 try_aes_decrypt 函数。
• 支持 aes_encrypt() 和 aes_decrypt() 的 CBC 模式。 请参阅 aes_decrypt 函数。
• 添加 3 参数函数别名 DATE_ADD 和 DATE_DIFF。
• 添加了对 aes_encrypt IV 和 AAD 的支持。 SPARK-43290
• 实现位图函数。 SPARK-44154
• 为 to_char 添加了 to_varchar 别名。 请参阅 to_varchar 函数。
• 添加了 array_compact 支持。 请参阅 array_compact 函数。
• 支持 udf luhn_check。 请参阅 luhn_check 函数。
• 为内置函数添加了对命名参数的分析器支持。 SPARK-44059
• 对 TableValuedFunction 支持 TABLE 自变量分析器规则。 SPARK-44200
• array_insert 现在失败，索引为 0。 SPARK-43011
• 对具有列数少于目标表的用户指定列表的 INSERT 添加了 NULL 值。 SPARK-42521
• DECODE 函数在传递 NULL 时返回错误的结果。 SPARK-41668

改进：

• Lakeview SQL 编辑器现在支持用于运行查询的键盘快捷方式。

• Lakeview 中的筛选器现在列出了过去 7、14、28、30、60 和 90 天的快速相对日期范围选择。

• 数据字段名称中的句点不再导致出现空白图表。

• 旧架构浏览器现在适用于 Unity Catalog。

• 实现了性能改进，现在仅加载 SQL 编辑器中的活动选项卡，这将初始加载时间减少最多 20%。

• 目录资源管理器中的 AI 生成的表注释现已正式发布。

修复：

• 时态条形图上的条形现在以日期刻度线为中心。
• 具有聚合表达式的数据标签模板现在使用正确的数字格式化程序。
• 现在，缩放新图表适用于使用时态数据进行分类的规模集。

新文章：

• 发布了一篇展示所有 Lakeview 可视化效果的新文章，包括屏幕截图和说明，其中显示了如何重新创建每个屏幕截图中的每个可视化效果。 请参阅仪表板可视化效果类型。

改进：

• 架构浏览器中的拖放功能现已可用。

• 使用 Lakeview 仪表板中的“选择表”模态框可以更轻松地从目录或架构中的所有表中选择内容，并且现在在您键入时使用自动完成搜索预测。

修复：

• 图例选择工具提示说明指定 Mac 用户使用 cmd，Windows 用户使用 ctrl。

• 当呈现的数据超出限制时，增强了 Lakeview 仪表板中截断消息的可见性。

• 包含截断数据的图表显示的颜色与编辑器中所示的颜色一致。

改进：

• 包含特殊字符的文本筛选器值现在 Lakeview 仪表板中正确筛选。

• 新图表支持在散点图上使用 @@name 数据标签。

• 自定义的百分比格式适用于新图表中的分组图表工具提示。

• 工作区绑定扩展 UI 已正式发布。

修复：

• 改进了新图表上的标签呈现，防止标签溢出到图表边界之外。
• 增加了新图表上的刻度线和网格线的对比度，以提高可见性。
• 增加了轴标签间距，以提高新图表的可读性。

改进：

• 为 Lakeview 仪表板中的发布模式操作和日期世系添加了准确的工具提示。

• Lakeview 表可视化效果中的条件格式和链接模板现在支持隐藏的列。

• 优化了宽条时态图表的标签定位，以提高新图表的清晰度。

• 即使在删除其他字段后，Lakeview 中的计数器可视化效果仍会保留其转换，从而确保一致性。

• 现在，将鼠标悬停在图表中的系列上会使工具提示中周围的系列变暗，以提高新图表的可读性。

• 使用百分比值的新图表现在会显示带有绝对值的工具提示。

• 添加了对创建卷的自动补全支持。

• 关闭非活动选项卡时不再切换选项卡。

• 突出显示文本时，选定的运行会清楚地进行指示。

修复：

• 改进了数据被截断时数据透视表中出现的错误消息措辞。

• 修复了数据透视表中使用 BigInt 数据类型时不显示颜色的渲染错误。

• 在包含大量图例项的新图表中下载 PNG 时，删除了溢出图例条目的颜色符号。

• 新图表中的线条即使在最顶部的视图边界也会保持一致的粗细。

• 在 Lakeview 中，如果不存在数据集，则 Canvas 中的数据集选取器为空。

• 增量实时表由 SQL 分析程序正确检测，并且不会在架构浏览器中显示为无效表。

• 工具提示已添加到边栏。

改进：

• 已发布的 Lakeview 仪表板现在有一个刷新按钮。

• 为无权访问 Lakeview 仪表板的用户改进了错误消息。

• Lakeview 仪表板中的筛选器配置现在在选择列表的顶部列出有效字段。

• 从 Lakeview 仪表板下载 PNG 图表时，现在会保留标题和说明。

• 目录资源管理器中的数据表历史记录的改进包括添加日期范围、用户和操作类型的筛选器；添加可排序的列；添加关联作业和笔记本的内联链接。

• 在图例、工具提示和表格可视化效果中添加了深色模式支持。

修复：

• 刷新 Lakeview 仪表板时不再清空筛选器选择。

改进：

• 数据透视表呈现性能已得到改进。
• UI 中世系表格视图的新 DuBois 模式。

改进：

• 在新的图表可视化效果中下载 PPNG 时，现在会保留文件名。

推出时间表

• 2023.40 预览版推出时间：2023 年 9 月 5 日至 2023 年 9 月 11 日
• 2023.40 当前版推出时间：2023 年 9 月 18 日至 2023 年 9 月 25 日

2023.40 中的更改：

• Unity Catalog 现已推出标记。
• 如果在查询计划和调用之间修改了文件，Databricks Runtime 将返回错误。
• Azure Databricks ODBC/JDBC 驱动程序支持。
• 启用时序列标记。
• 新位图 SQL 函数。
• 改进了加密函数。
• 对 REFRESH FOREIGN. 的 Unity Catalog 支持
• 现在支持 INSERT BY NAME。
• 与 Delta Sharing 共享具体化视图。

改进：

• 现在提供了新的图表，具有更快的呈现性能、美观的颜色和改进的交互性。

• 在查询配置文件的图形视图中，现在可以在查询计划中包含联接的任何节点上查看联接类型。

• 数据资源管理器已重命名为目录资源管理器，以迎合这样一个事实：你可以使用它来处理 Unity Catalog 中的所有安全对象，而不仅仅是数据对象。 请参阅什么是目录资源管理器？。

• Databricks SQL 语句执行 API 现已正式发布，其中包含 Databricks SQL 版本 2023.35 及更高版本。 API 允许提交 SQL 语句以在 Databricks SQL 仓库上执行，检查状态和提取结果，或取消正在运行的 SQL 语句执行。 请参阅语句执行 API。

新功能：

• Unity Catalog 的标记功能以公共预览版提供。 可以使用标记来简化数据资产的搜索和发现。 请参阅“将标记应用于 Unity Catalog 安全对象”。

改进：

• 按空格键后，自动完成会停止建议。
• 架构浏览器不再将 live Delta Live Tables 视为损坏的表。

改进：

• 切换选项卡时，SQL 编辑器中的“目录”下拉列表现在会关闭。 以前，当你切换选项卡时，下拉列表将保持打开状态。

改进：

• 自动完成现在支持用于设置 Unity Catalog 标记的新语法。 有关命令的信息，请参阅 SQL 语言参考。

改进：

• 基础 Monaco 编辑器现在使用版本 37.1。
• 自动完成支持 SHOW ARCHIVED FILES FOR Delta 命令。

改进：

• SQL 编辑器现在与 Windows 换行符兼容，可确保查询格式在所有情况下都按预期工作。
• 可以从笔记本结果打开查询配置文件导航。 对于查询，请使用 SQL 仓库运行查询。

推出时间表

• 2023.35 预览版推出时间：2023 年 7 月 18 日至 2023 年 7 月 24 日
• 2023.35 当前版推出时间：2023 年 7 月 31 日至 2023 年 8 月 8 日

2023.35 中的更改：

• 在 Unity Catalog 中使用浅表克隆增强 VACUUM 的可靠性。
• SQL 中对 Python UDF 的支持。
• Delta Lake UniForm for Iceberg 为公共预览版。
• Delta Lake Liquid 聚类分析为公共预览版。
• Delta Lake 的存档支持。
• IDENTIFIER 子句支持。
• Unity Catalog 支持 Python 和 Pandas 用户定义的函数 (UDF)。

改进：

• 目录资源管理器中表的受欢迎度适用于所有 Unity Catalog 用户。

改进：

• Unity Catalog 用户现在可以在目录资源管理器中查看其他表见解，例如经常联接的表、经常使用给定表的用户以及常用的笔记本和仪表板。

公共预览版：

• Databricks SQL 现在支持模型服务终结点上托管的大型语言模型 (LLM)。 调用 ai_query() 以访问 LLM。 此函数仅在 Databricks SQL Pro 和无服务器版本上作为公共预览版提供。

新功能：

• 作业中的 SQL 任务现已推出正式版。 可以从“作业”页协调查询、仪表板和警报。 请参阅作业的 SQL 任务。
• 新的架构浏览器现已推出公共预览版，具有更新的 UX、为你精选选项卡和经过改进的筛选器。 该架构浏览器在 Databricks SQL、目录资源管理器和笔记本中可用。 请参阅浏览数据。

2023.30 中的更改

• 新的 SQL 内置函数，例如 array_prepend(array, elem)、try_aes_decrypt(expr, key [, mode [, padding]])和 sql_keywords() 。
• 现在可以使用浅表克隆根据现有的 Unity Catalog 托管表创建新的 Unity Catalog 托管表。 请参阅适用于 Unity Catalog 表的浅表克隆。
• 现在可以将 CLONE 和 CONVERT TO DELTA 用于在 int、long 和 string 类型的截断列上定义了分区的 Iceberg 表。 decimal 类型的截断列不受支持。
• 现已对 ALTER SHARE 弃用了 START VERSION。

修复：

• 计数器可视化现在支持使用大整数时的格式设置。

改进：

• 使用箭头格式时，二进制数据现在将呈现为十六进制字符串。

• 在 SQL 语句 API 中，EXTERNAL_LINKS 处置现在支持 CSV 格式。 这允许客户端使用预签名 URL 提取最多 100 GiB 的 CSV 格式数据，而 JSON 的 INLINE 限制为 16 MiB。

• Azure Databricks SQL Pro 在中国所有区域均可用。 SQL Pro 现在是 UI 中的默认仓库。 API 默认值仍为“经典”。

新功能：

• 现在可以使用“添加数据”UI 从一个定义为 Unity Catalog 外部位置的云对象存储路径加载数据。 有关详细信息，请参阅使用 Unity Catalog 外部位置加载数据。

改进：

• 现在可以切换自动完成结果面板。
• 禁用 Enter 键，使其不再接受自动完成建议。 在“DBSQL 用户设置”下，单击“编辑器设置”，然后单击“新建编辑器设置”。 关闭 Enter 键接受自动完成建议。

修复：

• 排序后的表标题现在以颜色标识。
• 图表线现在可正确呈现。

改进：

• 在 SQL 语句 API 中，EXTERNAL_LINKS 处置现在支持 JSON_ARRAY 格式。 可以使用预签名 URL 提取最多 100 GiB 的 JSON 格式数据。 JSON 的 INLINE 限制为 16 MiB。

新功能：

• 架构浏览器现已在目录资源管理器中正式推出。

改进：

• 悬停时的表详细信息面板显示不太敏感了。
• Escape 键现在可关闭自动完成面板。
• 视图定义现在在“目录资源管理器详细信息”选项卡中突出显示语法。

修复：

• 数据透视表现在会在 Windows 设备上正确呈现。
• 完成建议现在正确遵循第一个关键字的大小写。

推出时间表

• 2023.26 预览版推出时间：2023 年 4 月 19 日至 2023 年 4 月 25 日之间
• 2023.26 当前版推出时间：2023 年 5 月 3 日至 2023 年 5 月 10 日之间

2023.26 中的更改

• 如果在查询规划和执行这段时间修改了文件，Photon 会返回错误。
• 新功能和对预测性 I/O 功能的外延支持。 请参阅 Databricks Runtime 13.0 (EoS)。
• 使用 Azure Databricks 连接器连接到另一个 Azure Databricks 工作区。
• Delta 表的 CREATE TABLE LIKE 功能。
• 表示文件块开始和长度的新元数据列字段。
• 新的 H3 地理空间函数。 请参阅 H3 地理空间函数。
• 新的 SQL 内置函数。 请参阅 Databricks Runtime 13.0 (EoS)。

改进：

• 管理员可以使用用户界面或 API 更改仓库所有者。 请参阅管理 SQL 仓库。
• 目录资源管理器现在在 Unity Catalog 的资产的用户列表中显示帐户服务主体。 例如，在目录资源管理器中编辑特权或更改所有者时可以看到帐户服务主体。
• 自定义图表标签支持引用数据集中的任何列的功能。
• 仪表板筛选器现在会加载列名称，即使在使用没有目录或架构信息的查询时也是如此。

改进：

• SQL 编辑器现在依赖于 Monaco 编辑器来获得更可靠的编辑体验。
• SQL 历史记录列表页（查询）现在包含 Dubois 设计系统。

改进：

• 引入了新的透视表用于聚合超过 64k 个结果。
• Databricks SQL 表和可视化效果现在支持 BigInt、38 位十进制数和非 UTF-8 字符。 对于数字，默认设置现在是用户定义的数字精度。
• 自动完成现在会建议对 Unity Catalog 表进行频繁的旧数据联接，该技术由 Databricks Runtime 12.0 及更高版本中的 Unity Catalog 世系数据提供支持。

新功能：

• 在提供提示的情况下，返回选定的大型语言模型 (LLM) 使用 ai_generate_text 生成的文本。 此函数仅在 Databricks SQL Pro 和无服务器版本上作为公共预览版提供。

新功能：

• TIMESTAMP_NTZ 类型表示由年、月、日、小时、分钟和秒字段组成的值。 无论时区如何，都会执行所有操作。 请参阅 TIMESTAMP_NTZ 类型。

改进：

• 用户现在可以通过在自定义警报消息中使用 QUERY_RESULT_TABLE 标记，在警报中发送带格式的结果。
• 用户现在可以在目录资源管理器中查看 Unity Catalog 表的文件数据大小。

推出时间表

• 2023.20 预览版推出时间：2023 年 3 月 15 日至 2023 年 3 月 23 日
• 2023.20 当前推出时间：2023 年 3 月 27 日至 2023 年 4 月 3 日

2023.20 中的更改

• Delta Lake 架构演变支持在合并语句中指定源列。
• 使用 array_compact 从数组中删除所有 NULL 元素。
• 若要将元素追加到数组，请使用 array_append。
• 若要匿名化敏感字符串值，请使用 mask 函数。
• 常见错误条件现在返回 SQLSTATE。
• 在查询的常规 FROM 子句中调用表值生成器函数。
• 使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。
• 改进了与 update、delete 和 merge 命令相关的空事务的 Delta 提交行为一致性。
• 行为变更
  • 横向列别名功能在名称解析期间会造成行为变更。 请参阅行为更改。

改进：

• 目录资源管理器现在支持删除 Hive 元存储删除。
• 可视化效果编辑器初始状态的消息已从“缺少必需的列”更改为“无数据”。

新功能：

• “通过文件上传页创建或修改表”页现在支持 JSON 文件上传。 有关详细信息，请参阅使用文件上传创建或修改表。

改进：

• 在仓库监视页上，现在可以查看所选时间范围内的查询历史记录以及缩放图表。 还可以查看当前正在运行和已排队的查询、处于活动状态的 SQL 会话、仓库状态和当前群集计数。 请参阅监视 SQL 仓库。
• 地图聚类分析现在默认在标记地图中处于关闭状态。
• 添加了有关可视化效果截断和呈现限制的工具提示。

修复：

• 对轴值禁用排序并且图表包含分组依据列时，图表现在遵循原始顺序。

改进：

• 可视化效果现在支持按周进行时间分箱。
• Total 现在会计算笔记本透视表中超过 100 X 100 个单元格的所有数据，最多返回 64k 个结果。
• 用户现在可为新笔记本透视表中的单元格值设置格式。
• 文件、查询和特征存储世系可用。

改进：

• 支持 GROUP BY ALL 语法。

新功能：

• Databricks SQL 语句执行 API 现已推出公共预览版。 语句执行提供针对 Databricks SQL 仓库运行 SQL 语句的终结点。 它还可以检查状态、提取结果和取消正在运行的 SQL 语句。

改进：

• SQL 管理控制台已与常规管理设置合并，以便为管理员用户创建统一的体验。 现在可从管理控制台访问所有 SQL 管理员设置。
• 警报目标现在称为通知目标。

修复：

• 表不再显示两个滚动条。
• 空白小组件标题不再在仪表板上被覆盖。

修复：

• 现在可以使用表中的相对 URL 来访问仪表板。

改进：

• TINYINT 现在在笔记本的结果表中受支持。

修复：

• 修复了以下 bug：在“创建仪表板”筛选器模式上滚动导致错误。

改进：

• 图表上的数据标签现在显示更多字符，以避免截断说明。
• 自动完成现在可以识别 range() 和 Python UDF create 函数。
• 自动完成现在可避免在小数和代码注释中启动代码片段。

修复：

• 用户现在可以放大地图。
• 在笔记本中，颜色现在已正确分配给图表。

改进：

• 在编辑器中支持 DESCRIBE DETAILS。
• 提高了架构浏览器加载速度。
• 现在可以在 SELECT * 的侧面板上查看可能列的列表。

改进：

• 查询的错误消息现在包含指向描述该错误的相关文档主题的链接。

改进：

• 现在可以找到“新增功能”面板，其中突出显示了关键增强功能。 可以通过单击礼物图标打开和关闭此面板。
• 管理员现在可以更改 SQL 仓库的所有权。
• 现在，可以通过单击“添加”>“筛选器”并选择用于筛选的查询和列，来筛选仪表板中的多个可视化效果。

改进：

• 仪表板上的可视化小组件标题现在默认设置为“可视化效果名称 - 查询名称”格式。
• 向内联面板引用添加了 H3 地理空间函数。
• 添加了 SQL 语法（例如 CREATE TABLE 和 OVER）的内联引用。

修复：

• 当 X 轴刻度设置为自动时，排序和反向切换现在可用。
• 热度地图和数据透视表现在可以响应某些边缘情况。
• 分类 Y 轴刻度线现在默认排序。
• 执行浏览器刷新后，查询草稿不再丢失。

• Azure Databricks SQL 警报现在支持查询结果列（如 SUM、COUNT 和 AVG）的聚合警报。
• 在仪表板上创建新的小组件时，默认可视化效果标题现在为“VisualizationName - QueryName”。

警报：

• Chatworks、Mattermost 和 Google Hangouts Chat 不再是通知目标。

改进：

• 检查百分比值时，y 轴现在将数字显示为百分比。
• 用于禁用上传数据 UI 的工作区管理员设置现在适用于新的上传数据 UI。 此设置适用于数据科学与工程、Databricks Mosaic AI 和 Databricks SQL 角色。

修复：

• 修复了 Databricks SQL 警报中的一个问题：与 null 值比较时评估不正确。
• 修复了数据透视表上的滚动条消失的问题。
• 修复了架构浏览器无法调整溢出选项卡大小的问题。

改进：

• 现在可以创建同时处理多个查询的仪表板筛选器。 在“编辑仪表板”模式下，依次选择“添加”、“筛选器”、“新建仪表板筛选器”。
• 自动完成现在支持 CREATE MATERIALIZED VIEW。

修复：

• 修复了滚动到一组仪表板分页结果的末尾时发送错误的问题。
• 修复了从堆叠条形图切换到折线图时保留堆叠属性的问题。
• 修复了重复的提取调用。

改进：

• 在 Databricks SQL 中请求访问权限时，默认权限现在是“可运行”。

修复：

• 修复了使用查询和仪表板 API 按 created_at 排序时不返回正确排序顺序的问题。
• 修复了包含 HTML 格式 URL 的列的列宽过大问题。
• 修复了不突出显示 WHERE 关键字的问题。

改进：

• 将查询结果下载到 Excel 的行限制已从 64,000 行增加到 100,000 行。 CSV 和 TSV 下载限制保持不变（大约 1 GB 数据）。

• 自动完成现在支持 LIST 语法、URL 和凭据。

• 合并了“修复”建议面板并已将其现代化。

• 为 Databricks SQL 引入了新的仓库类型 Databricks SQL Pro。 此仓库类型使 Databricks SQL 仓库能够使用作业集成、查询联合、地理空间功能和预测性 IO。

修复：

• 修复了编辑器中的警告横幅与全高度可视化效果重叠的问题。
• 修复了移动表列时不保留表列宽的问题。
• 修复了以下问题：如果从 SQL 编辑器添加可视化效果，则弹出通知中指向仪表板的链接会损坏。

改进：

• 现在可以在页脚中看到查询进度条，并在串形菜单中看到用于编辑可视化效果的操作。
• 自动完成现在支持 Delta“按时间顺序查看”，并在定义外键时提供列自动完成。

修复：

• 修复了快速连续在仪表板中添加多个可视化效果导致可视化效果不显示在仪表板上的问题。

改进：

• 现在，可以删除报告的错误消息。
• 编辑器现在支持 COMMENT ON 指令。
• 现在可以使用 Cmd+P 或 Ctr+P（适用于电脑）作为“热门搜索”的快捷方式。 使用 Cmd+I 或 Ctr+I（适用于电脑）作为“添加参数”的快捷方式。

改进：

• 添加数据 UI 提供对常用数据源配置和文件上传 UI 的访问权限。 请参阅将文件上传到 Azure Databricks。
• 可以使用 UI 将小文件上传到 Delta Lake。 请参阅使用文件上传创建或修改表。

改进：

• EXTERNAL 现在是保留的表属性。 如果在属性中指定 EXTERNAL，则命令 CREATE TABLE ... TBLPROPERTIES 和 ALTER TABLE ... SET TBLPROPERTIES 将失败。
• format_string(strfmt, obj, ...) 和 printf(strfmt, obj, ...) 中的 strfmt 不再支持使用 0$ 作为第一个参数。 使用参数索引指示参数在参数列表中的位置时，第一个参数应由 1$ 引用。
• 饼图段现在有一个细边框，用于区分不同的段。
• 现在，可以使用 Cmd+I（适用于 Mac）或 Ctr+I（适用于电脑）作为“添加参数”的快捷方式。 使用 Cmd+P 或 Ctr+P（适用于电脑）作为“全局搜索”的快捷方式。
• 针对正确或错误的查询错误消息，可以使用反馈按钮。
• “修复我”建议现在以“快速修复”形式提供。

修复：

• lpad 和 rpad 函数现在可以正常使用 BINARY 字符串输入。 BINARY 字符串输入的 lpad 和 rpad 的输出现在是 BINARY 字符串。
• 修复了手动警报刷新无法正常运行的问题。
• 回退了对自动计数器大小的更改，以修复格式设置问题。

改进：

• 现在，可以向这些资产的所有者请求对 Databricks SQL 查询、警报和仪表板的访问权限。
• 现在，可以在“查询历史记录”页面上按查询持续时间和语句类型进行筛选。
  • 若要使用查询持续时间筛选器，请输入时间量并选择时间单位。 历史记录结果返回运行时间超过指定时间的查询。
  • 若要使用语句类型筛选器，请从下拉列表中选择语句类型。 历史记录结果返回包含该语句的查询。

修复：

• 修复了并非所有受支持的 HTML 标记都在自定义警报模板中正常运行的问题。 所有标记均按文档提供。
• 修复了“可视化效果”通知 toast 的问题。 例如，以前未显示双击以缩小可视化效果。
• 修复了图表名称未反映交换图表轴的问题。

改进：

• 仪表板上显示多个计数器小组件时，相同大小的计数器小组件将具有相同的字体大小。
• 更新了组合图表，确保使用双轴时只能在同一轴上使用相同的图表类型（例如折线图、条形图）。 系列别名也适用于轴。
• 添加了对代理键和 LIST 操作的自动补全支持。

修复：

• 修复了文本参数不接受 Null 作为有效值的问题。

修复：

• 修复了从 SQL 仓库列表页查看查询历史记录不起作用的问题。

改进：

• 在 DSE/SQL 主页中引入新的“开源集成”卡来显示开源集成选项，例如增量实时表和 dbt core。

修复：

• 修复了参数下拉菜单被可视化效果选项卡遮挡的问题。

改进：

• 引入新的简化 UI 以添加参数和筛选器。 选择 + 并选择添加筛选器或参数。
• 现在可以自动补全 SQL 令牌的括号，例如“OVER()”。

修复：

• 修复了在全屏模式下查看仪表板时忽略调色板的问题。
• 修复了快速键入然后使用“运行”快捷方式运行上一查询文本而不是新键入的查询文本的问题。
• 修复了使用键盘命令 ctrl+enter 运行查询会提交重复查询的问题。

修复：

• 修复了查询参数更改时仪表板筛选器未更新的问题。

• 对于 Databricks SQL，Unity Catalog（公共预览版）在预览通道中可用。 有关详细信息，请参阅什么是 Unity Catalog？。

• 文档：警报 API 文档已发布。

• 可视化效果：用户现在可以设置日期筛选器的默认值。 每当在查询或仪表板上刷新筛选器时，都将应用默认值。

• 修复：

  • 修复了当仪表板仍在重新加载时应用更改不起作用的问题。
  • 修复了查询未返回结果时列过窄的问题。

改进：

• 当用户刷新失败时，他们将收到电子邮件。 若要启用此类通知，请导航到管理控制台的“SQL 设置”选项卡。 在“失败电子邮件”下，选择想要接收失败通知的对象类型（查询、仪表板或警报）。 故障报告每小时发送一次。
• 可视化效果
  • 介绍可视化效果和仪表板的新的新式调色板。 若要将仪表板更改为新的调色板，请转到仪表板，单击编辑 ->颜色 ->导入，然后选择“Databricks 调色板”。 SQL 管理员还可以通过转到设置 ->QL 管理员控制台 ->工作区颜色 ->导入并选择新的调色板，将新的调色板设置为工作区的默认选项。

修复：

• 修复了如果已执行查询，则之前选择应用更改来应用筛选器将不起作用的问题。

改进：

• 现在在克隆仪表板时，有一个选项用于选择是否还应克隆查询。
• 选项卡内容在浏览器选项卡之间同步。 查询的状态现在将在所有浏览器选项卡中同步。 这意味着，如果在浏览器选项卡 1 中处理 query1，然后切换到浏览器选项卡 2，将看到原始浏览器选项卡中的 query1 处于离开时的状态。

修复：

• 饼图中空字符串的标签现在反映字符串为空，而不是值的索引。

• 警报
  • 自定义的警报电子邮件模板已更新，禁止某些可能带来安全风险的 HTML 标记。 不允许的 HTML 标记和属性会被自动清理。 例如， 是不允许的 HTML 标记，因此显示文本“button”而不呈现按钮。 有关允许的 HTML 标记和属性列表，请参阅警报。
  • 用户现在可以为其他用户订阅警报，而无需创建通知目标，这需要管理员权限。
• 下载：用户现在可以从 Databricks SQL 以 CSV 和 TSV 格式下载最多 1GB 的结果数据，而以前最多可以下载 64,000 行。
• 可视化效果
  • 现在可以直接在仪表板上编辑可视化效果。 在编辑模式下，单击 kebab 菜单，然后选择“编辑可视化效果”，开始编辑可视化效果。
  • 下载与利用聚合的可视化效果关联的结果时，也会聚合下载的结果。 下载的选项是从底部 kebab 移动到与选项卡关联的 kebab。下载的结果来自创建可视化效果的查询的最新执行。
• SQL 编辑器：当浏览器内表显示的数据限制为 64,000 行时，结果表现在会显示一条消息。 TSV 和 CSV 下载仍最多为 1GB 的数据。
• 查询筛选器：
  • 查询筛选器已更新为在客户端或服务器端动态运行以优化性能。 以前的查询筛选器（现为旧版）仅在客户端运行。 如果需要，用户仍可以使用带有 :: 语法的旧筛选器。
  • 更新后的筛选器更简单：用户只需单击“+添加筛选器”按钮，然后从下拉列表中选择一列。 以前，用户必须直接修改查询文本。
  • 突出显示相关值，以便更轻松地查看筛选器中的哪些选择将返回给定其他筛选器选择的结果。
• 查询历史记录：查询历史记录中的查询详细信息现在会显示查询源，它是执行查询的源。

• 共享通知：每当与用户共享仪表板、查询或警报时，用户现在都会收到电子邮件通知。
• 通过新的嵌入式编辑器工具包增强 SQL 编辑器体验
  • 实时语法错误突出显示（例如，错误的关键字、表不存在以及修复错误的建议）
  • 上下文帮助：悬停时（例如完整的表名和详细的函数面板）和内联执行错误消息（例如执行后突出显示有错误的行）
  • 建议智能排序（例如参数自动补全、排序公式和低干扰匹配）

• 除 CSV 文件外，现在还可使用 Create Table UI 上传 TSV 文件。
• 每当与用户共享仪表板、查询或警报时，Databricks SQL 现在都会提供通过电子邮件通知用户的选项。
• 可视化效果表中现在可以选择包含结果旁边显示的行号。
• 为 Chloropleth 可视化效果选择地理区域时，现在会获取接受值的内联提示。

• SQL 终结点名称更改：Databricks 将 SQL 终结点更名为 SQL 仓库，因为它不仅仅是运行 SQL 命令的 API 入口点。 SQL 仓库是满足所有数据仓库需求的计算资源，是 Databricks 平台不可分割的一部分。 计算资源是在云中提供处理功能的基础结构资源。
• 对于 Choropleth 可视化效果，可视化编辑器中的键列和目标字段选择已重命名为地理列和地理类型。 为便于理解而进行的重命名不会导致新的或现有的 Choropleth 出现任何行为更改。
• 限制 1000 个查询这一选项已从 SQL 查询编辑器中的复选框移动到运行按钮中的复选框。
• 查询历史记录表中的缓存查询现使用“缓存”标记进行标记。
• 手动刷新仪表板会使用仪表板的仓库（如果可用），而不是每个查询的仓库。
• 无论以查看者/所有者身份运行设置如何，刷新警报都始终使用警报的仓库。

• 将鼠标悬停在终结点选择器中时，完整的终结点名称将显示为工具提示。
• 在 SQL 编辑器架构浏览器中进行筛选时，搜索结果中现在突出显示了搜索词。
• SQL 编辑器中的“关闭所有”对话框现在显示未保存的查询列表。
• 若要在 SQL 编辑器中重新打开最后一个关闭选项卡，请使用以下新的键盘快捷方式：<Cmd> + <Shift> + <Option> + T
• 现在可以向组合图表添加数据标签。
• 可视化聚合操作的列表现在包括方差和标准偏差。

创作改进：

• 现在可以在创作可视化效果时绕过聚合。 在查询已包含聚合时，此功能特别有用。 例如，如果查询是 SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio，则图表编辑器以前需要明确指定另一个聚合层。
• 创作仪表板时，现在可以：
  • 重复文本框小组件
  • 扩大编辑文本框面板的大小
• 创作可视化效果时，错误列的默认聚合是标准偏差。

修复：

• 可视化效果的编辑操作仅在仪表板处于编辑模式时可用。 编辑操作不再可用作视图模式操作。
• 创建新查询时，该查询将在焦点选项卡右侧的选项卡中打开，而不是在列表末尾打开。
• 打开查询模式显示哪个查询已打开，并提供将焦点切换到该查询选项卡的选项。
• Sankey 和 Sunburst 图表不再将 0 视为 null。

• 已修复问题：当你在特定可视化效果选项卡上打开 SQL 编辑器的焦点并将链接共享给其他用户后，该用户在单击共享链接时将在 SQL 编辑器中具有相同的焦点。
• 改进：
  • Microsoft Teams 现在是受支持的通知目标。
  • 日期范围、日期和时间范围以及日期和时间范围（以秒为单位）参数现在支持用于指定一周开始日期的选项（默认为星期日）。

• 可视化效果现在直接支持 UI 中的时间分箱。 现在，可以通过更改下拉列表值（而不是在查询文本本身中添加和修改 date_trunc() 函数），在每年、每月、每日或每小时的数据箱之间轻松切换。
• 现在，默认情况下仪表板具有颜色一致性。 如果多个图表中具有相同的系列，则该系列在所有图表中始终具有相同的颜色 - 无需任何手动配置。

• 与用户或组共享仪表板时，现在还可以共享由可视化效果使用的所有上游查询和参数。
  • 如果无权共享一个或多个上游查询，将会收到一条警告消息，指出并非所有查询都可以共享。
  • 共享仪表板时授予的权限不会替代、否定或扩展上游查询上的现有权限。 例如，如果用户或组在共享仪表板上具有“可以所有者身份运行”权限，但仅对上游查询具有“以查看者身份运行”权限，则对上游查询的有效权限将为“以查看者身份运行”。

• 现在，当按需导出到 PDF 以及生成计划的订阅电子邮件时，仪表板布局将会保留。

• 图表包括新的组合可视化选项。 这样就可以创建包含条形和线的图表。

• Unity Catalog（预览版）允许你在帐户级别管理治理和访问数据。 可以集中管理元存储和数据权限，并且可以将元存储分配给帐户中的多个工作区。 你可以使用 Databricks SQL 目录资源管理器或 SQL 编辑器来管理 Unity Catalog 数据和对象并与之交互，并且可以在仪表板和可视化对象中使用 Unity Catalog 数据。 请参阅什么是 Unity Catalog？。

• Delta Sharing（预览版）允许你与组织外部的收件人共享只读数据。 Databricks SQL 支持查询 Delta Sharing 数据并将其用于可视化和仪表板。
• 每次手动或按计划刷新仪表板时，都会刷新仪表板和上游中的所有查询（包括参数使用的查询）。 刷新单个可视化效果时，将刷新所有上游查询（包括参数使用的查询）。

• 组群可视化已更新，以便组群从最小值和最大值插入，而不是从 0 和 100 插值。 现在，可以很轻松地在实际可用数据范围内区分组群。 以前，如果所有数字都靠近在一起，则这些数字将使用相同的颜色。 现在，靠近的数字更有可能使用不同的颜色，因为组群从最大到最小范围划分以形成每个系列。
• 可以更轻松地查看仪表板订阅计划是处于活动状态还是已暂停状态。 单击“订阅”时，如果仪表板订阅计划已暂停，则会显示消息“此计划已暂停”。 仪表板订阅计划暂停后，可以订阅或取消订阅仪表板，但不会发送计划的快照，也不会更新仪表板的可视化效果。
• 查看“查询历史记录”时，现在可以按持续时间对列表进行排序。 默认情况下，查询按开始时间排序。

• 在目录资源管理器中，现在可以查看用户或组对表、视图、架构或目录拥有的权限。 单击对象，然后单击“权限”并使用新的筛选器框。

• 可视化效果变得更加智能！ 当查询产生一列或两列时，系统将自动选择建议的可视化类型。
• 现在，你可以创建直方图，以可视化数据集中每个值出现的频率，并了解数据集的值是围绕少量范围聚类还是更分散。
• 在“查询历史记录”和“查询配置文件”中，现在可以将查询字符串和失败查询的错误消息扩展到全角。 这样可以更轻松地分析查询计划并对失败的查询进行故障排除。
• 在条形图、线图、面积图、饼图和热图可视化效果中，现在可以直接在可视化效果配置 UI 中执行聚合，无需修改查询本身。 利用这些新功能时，聚合将在整个数据集上执行，而不是仅限于前 64000 行。 编辑在此版本之前创建的可视化效果时，你将看到一条消息“This visualization uses an old configuration. New visualizations support aggregating data directly within the editor.”，如果要利用新功能，则必须重新创建可视化效果。 请参阅在可视化效果中启用聚合。

• 现在，你可以为仪表板设置自定义调色板。 该仪表板中显示的所有可视化效果都将使用指定的调色板。 设置自定义选项板不会影响可视化效果在其他仪表板或 SQL 编辑器中的显示方式。

  你可以为调色板指定十六进制值或从另一个调色板导入颜色，无论是由 Databricks 提供还是由工作区管理员创建。

  将调色板应用于仪表板时，默认情况下，该仪表板中显示的所有可视化效果都将使用选定的调色板，即使你在创建可视化效果时配置了自定义颜色也是如此。 若要覆盖此行为，请参阅自定义可视化效果的颜色。

• 工作区管理员现在可以使用管理控制台创建自定义调色板。 创建自定义调色板后，可在新仪表板和现有仪表板中使用自定义调色板。 若要对仪表板使用自定义调色板或对其进行自定义，可以编辑仪表板设置。

• 当你从 SQL 菜单向仪表板添加使用参数的可视化效果时，可视化效果现在默认使用仪表板级参数。 这与你在仪表板中使用“添加可视化效果”按钮添加小组件时的行为一致。

• 查看查询历史并按参数组合筛选列表时，现在会显示匹配查询的数量。

• 在可视化效果中，修复了无法将 Y 轴范围调整为特定值的问题。

• 标签式 SQL 编辑器现在默认为所有用户启用。 有关更多信息或禁用标签式编辑器，请参阅编辑多个查询。

• 仪表板电子邮件订阅者现在会收到一个内联映像，其中显示仪表板快照，而不是附件。 快照的 PDF 将附加到电子邮件中。

• 现在，你可以通过为 SQL 终节点配置现成虚拟机实例策略来平衡可靠性和成本。 现成虚拟机实例策略确定工作器是仅使用按需实例还是同时使用按需实例和现成虚拟机实例。 “成本优化”（默认）主要使用现成虚拟机实例和一个按需实例。 “可靠性优化”仅使用按需实例。 以前，SQL 终结点始终采用按需实例。 要保留此行为，请将现成虚拟机实例策略设置为“可靠性优化”。 请参阅配置现成实例策略。

• 改进了查看、共享和导入查询配置文件的方式。 请参阅查询配置文件。

• “详细信息”可视化效果现在允许你重命名列，就像“表”可视化效果一样。

• 现在可以通过中键单击 SQL 编辑器中的标签页来关闭标签页。

• 以下键盘快捷键已添加到标签式 SQL 编辑器中：

  • 关闭所有标签页：Cmd+Option+Shift+A (macOS) / Ctrl+Option+Shift+A (Windows)
  • 关闭其他标签页：Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

  这些键盘快捷键提供了右键单击选项卡以访问相同操作的替代方法。 若要查看所有键盘快捷方式，请在选项卡式 SQL 编辑器中单击 “键盘”图标。

• 表中整数和浮点型数据类型的默认格式已更新为不包含逗号。 这意味着默认情况下，10002343 等值将不再有逗号。 若要设置这些类型的格式以使用逗号显示，请单击“编辑可视化效果”，展开列的区域，然后修改格式以包含逗号。
• 为了更好地与浏览器呈现限制保持一致，可视化效果现在最多显示 10000 个数据点。 例如，散点图最多显示 10000 个数据点。 如果数据点的数量受到限制，则会显示警告。

• 修复了 SQL 编辑器中的“保存”按钮有时被禁用的问题。 “保存”按钮现在始终处于启用状态，并且在检测到未保存的更改时会包含一个星号 (*)。

• Databricks SQL 现已正式发布。 这标志着重要里程碑：提供第一个将数据、AI 和 BI 工作负载统一在一个地方的 lakehouse 平台。 借助 GA，Databricks 将能够为任务关键型工作负载提供最高级别的稳定性、支持和企业就绪性。 请阅读 GA 公告博客以了解更多信息。
• 警报现在是独立于查询进行计划的。 创建新警报并创建查询时，系统还会提示你为警报创建计划。 如果你有现有警报，则我们已从原始查询复制了计划。 此更改还允许你为“以所有者身份运行”和“以查看者身份运行”查询设置警报。 “以所有者身份运行”查询使用查询所有者的凭据按指定的警报计划运行。 “以查看者身份运行”查询使用警报创建者的凭据在指定的警报计划上运行。 请参阅什么是 Databricks SQL 警报？和计划查询。
• 现在，你可以在 SQL 编辑器和仪表板中对参数重新排序。
• 有关创建热图可视化效果的文档已扩展。 请参阅热度地图选项。

• 创建表可视化效果时，现在可以将列的字体颜色设置为静态值或基于列的字段值的值范围。 字面值将与阈值进行比较。 例如，要对值超过 500000 的结果进行着色，请创建阈值 > 500000，而不是 > 500,000。 请参阅有条件地设置列颜色格式。
• 通过标签式 SQL 编辑器架构浏览器中的图标，可以区分表和视图。

• 现在可以在工作区级别应用 SQL 配置参数。 这些参数会自动应用于工作区中的所有现有和新的 SQL 终结点。 请参阅配置 SQL 参数。

• 查看查询的历史记录时，现在可以在运行查询的服务主体上筛选查询。 请参阅查看查询历史记录。

• 你现在可以使用侧边栏快捷方式打开 SQL 编辑器。 若要打开 SQL 编辑器，请单击“SQL 编辑器”。

• 如果你有权创建数据科学与工程群集，现在可以通过单击边栏中的“创建”并单击“SQL 终结点”来创建 SQL 终结点。

• 管理员现在可以通过 UI 将查询、仪表板或警报的所有权转让给其他用户。 请参阅：

  • 转让查询的所有权
  • 转让旧仪表板的所有权
  • 转让警报的所有权

• 在地图 (Choropleth) 可视化中，图例中颜色的最大梯度步数已从 11 增加到 20。 默认值为 5 个梯度步，包括“最小颜色”和“最大颜色”。
• 选项卡式 SQL 编辑器现在支持批量选项卡管理。 如果右键单击某个选项卡，将看到“关闭其他”、“关闭左侧”、“关闭右侧”和“关闭所有”选项。 请注意，如果右键单击第一个或最后一个选项卡，则不会看到“关闭左侧”或“关闭右侧”选项。

• 在目录资源管理器中查看表时，可使用两个选项来简化与表的交互：
  • 单击“创建”>“查询”创建一个选择所有列并返回前 1000 行的查询。
  • 单击“创建”>“快速仪表板”打开一个配置页面，可在其中选择感兴趣的列以及创建仪表板和支持查询，这些查询使用这些列提供一些基本信息，并展示仪表板级别的参数和其他功能。

• 选项卡式编辑器中现在提供了新的键盘快捷方式：
  • 打开新选项卡：
    • Windows： Cmd+Alt+T
    • Mac：Cmd+Option+T
  • 关闭当前选项卡
    • Windows： Cmd+Alt+W
    • Mac：Cmd+Option+W
  • 打开查询对话框
    • Windows： Cmd+Alt+O
    • Mac：Cmd+Option+O

• 你现在可以通过克隆现有仪表板来创建新仪表板，前提是对仪表板及所有上游查询具有“可运行”、“可编辑”和“可管理”权限。 请参阅克隆旧版仪表板。
• 现在可以在包含多个 Y 轴列的可视化效果中使用 GROUP BY。 请参阅散点图。
• 现在可以使用 {{ @@yPercent}} 在非规范化堆积条形图中设置数据标签的格式。 请参阅条形图。
• 如果使用 SAML 身份验证并且 SAML 凭据将在几分钟内过期，则现在在执行查询或刷新仪表板之前，系统会主动提示重新登录。 这有助于防止操作因凭据在查询执行期间过期而中断。

• 现在可以使用权限 REST API 转让仪表板、查询和警报的所有权。 请参阅查询 ACL。

• 在查询结果中，BIGINT 结果大于 9007199254740991 时，现在会被串行化为字符串。 这修复了 BIGINT 结果在查询结果中可能被截断的问题。 其他整数结果仍序列化为数字。 轴标签和工具提示上的数字格式设置不适用于序列化为字符串的 BIGINT 结果。 有关 Databricks SQL 中的数据类型的信息，请参阅 BIGINT 类型。

Databricks 将在一周的时间内推出后续更改。 直到 9 月 7 日之后，你的工作区才可能启用这些更改。

• Databricks SQL 现提供公共预览版，并对新工作区中的所有用户启用。

  备注

  如果你的工作区在公共预览版期间（即 2021 年 9 月 7 日开始的一周之前）启用了 Databricks SQL，用户将保留在该日期之前分配的权利，除非你对其进行更改。 换句话说，如果用户在公共预览版期间没有访问 Databricks SQL 的权限，那么除非管理员授予他们权限，否则他们现在不会拥有权限。

• 管理员可通过向用户或组分配“Databricks SQL 访问权限”权利（API 中的 databricks-sql-access）来管理哪些用户有权访问 Databricks SQL。 新用户默认具有此权利。

  管理员可限制用户或组仅访问 Databricks SQL，并且可通过从用户或组中删除“工作区访问权限”权利（API 中的 workspace-access）来防止他们访问数据科学与工程或 Databricks Mosaic AI。 新用户默认具有此权利。

  重要

  若要登录并访问 Azure Databricks，用户必须具有“Databricks SQL 访问权限”或“工作区访问权限”，或两者兼有。

• 一个名为 Starter Endpoint 的小型经典 SQL 端点已在所有工作区预配，使你可以立即开始创建仪表板、可视化效果和查询。 为了处理更复杂的工作负载，可轻松地增大其大小（以减少延迟）或增加底层群集的数量（以处理更多并发用户）。 为了管理成本，Starter Endpoint 被配置为在空闲 120 分钟后终止。

• 为了帮助你快速启动和运行，管理员和用户可以使用全新的引导式加入体验。 默认情况下，加入面板可见，你始终可以在边栏中查看剩余的加入任务数量。 单击“剩余任务”以重新打开加入面板。

• 可通过名为 SAMPLES 的只读目录中的两个丰富数据集快速开始使用Databricks SQL，该目录可在所有工作区中使用。 在了解 Databricks SQL 时，可使用这些架构来创建查询、可视化效果和仪表板。 无需配置，并且所有用户都有权访问这些架构。

  • nyctaxi 架构包含 trips 表中的出租车行程数据。
  • 该 tpch 架构包含下表中的零售收入和供应链数据：
    • customer
    • lineitem
    • nation
    • orders
    • part
    • partsupp
    • region
    • supplier

  单击加入面板中的“运行第一个查询”，生成 nyctaxi 架构的新查询。

• 若要了解如何在 Databricks SQL 中对数据进行可视化，而无需进行任何配置，可以从仪表板示例库中导入仪表板。 这些仪表板由 SAMPLES 目录中的数据集提供支持。

  若要查看仪表板示例库，请单击加入面板中的“导入示例仪表板”。

• 你现在可以使用 CREATE FUNCTION 和 DROP FUNCTION 命令创建和删除本机 SQL 函数。

• 对仪表板具有“可编辑”权限的用户现在可管理仪表板的刷新计划和订阅列表。 之前，需要具备“可管理”权限。 有关详细信息，请参阅自动刷新仪表板。

• 默认情况下，可视化效果不再根据返回的结果数动态重设大小，而是无论结果数如何，都维持相同的高度。 若要返回到之前的行为并配置可视化效果来动态重设大小，请在仪表板的可视化效果设置中启用“动态调整面板高度”。 有关详细信息，请参阅表选项。

• 如果你有权访问同一帐户中的多个工作区，则可在 Databricks SQL 中切换工作区。 在 Azure Databricks 工作的左下角，单击 ，然后选择一个工作区来切换到它。

• 管理员现可在执行其他用户的查询时终止该查询。 有关详细信息，请参阅终止正在执行的查询。

• 改进了 EXPLAIN 结果格式
  • Explain 结果更易于读取
  • 已格式化为等宽，无换行

• 通过在查询编辑器中支持多个选项卡，同时处理多个查询变得更容易。 若要使用选项卡式编辑器，请参阅编辑多个查询。

• 仪表板中的可视化小组件现提供标题和说明，便于你针对仪表板本身定制在多个仪表板中使用的可视化标题和说明。
• 已更新边栏，改进了其可见性和导航：
  • “仓库”现为“SQL 终结点”，“历史记录”已重命名为“查询历史记录”。
  • 帐户设置（旧称为“用户”）已移至 “帐户”。 选择“帐户”时，可更改 Azure Databricks 工作区并注销。
  • 用户设置已移至 “设置”，并且已被拆分为“设置”和“SQL 管理控制台”。 SQL 管理控制台仅对管理员可见。
  • 帮助图标已更改为 “帮助”。

• 借助新的目录资源管理器，可以轻松浏览和管理对数据库和表的权限。 用户可以查看架构详细信息，预览示例数据，还可查看表详细信息和属性。 管理员可以查看和更改数据对象所有者，数据对象所有者可以授予和撤销权限。 有关详细信息，请参阅什么是目录资源管理器？。
• 水平图表中的 Y 轴已更新，以反映与表中相同的顺序。 如果此前选择了反向排序，可以使用 Y 轴上选项卡的“反转顺序”开关来反转新排序。

• 轻松配置 SQL 终结点中的服务主体。 现有一个控件可帮助你在全局 SQL 终结点设置中配置服务主体。 请参阅配置服务主体。
• 现在支持临时视图。

• 对于新创建的 SQL 终结点（包括 UI 和 REST API），现在默认打开 Databricks 的新矢量化执行引擎 Photon。 Photon 透明地加速
  • 写入 Parquet 和 Delta 表。
  • 许多 SQL 查询。 请参阅限制。
• 使用 CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS 和 SHOW USERS 命令轻松管理用户和组。 有关详细信息，请参阅 Security 语句和 Show 语句。
• 对于具有超过 100 个表的架构，查询编辑器架构浏览器更贴合，也更快捷。 在此类架构上，架构浏览器不会自动加载所有列；仍照常显示表列表，但仅在单击表时加载列。 此更改会影响查询编辑器中的查询自动完成，因为它依赖于此信息来显示建议。 在展开表并加载其列之前，这些建议不可用。

• 新启用的 Azure Databricks 工作区的管理员现在默认接收 Databricks SQL 权利，不再需要使用管理控制台向其自己授予 Databricks SQL 访问权限。
• Photon 现在以公共预览版提供，默认为新的 SQL 终结点启用。
• 多群集负载均衡现在以公共预览版提供。
• 现在，可以使用“可编辑”权限实现与组织的其他成员协作处理仪表板和查询。 请参阅访问控制列表。

• SQL 分析已重命名为 Databricks SQL。 此更改具有以下面向客户的影响：

  • Web UI 中的引用已更新。

  • 已重命名授予 Databricks SQL 访问权限的权利：

    • UI：Databricks SQL 访问权限（以前称为 SQL Analytics 访问权限）
    • SCIM API：databricks-sql-access（以前称为 sql-analytics-access）

    具有旧权利的用户、组和服务主体已迁移到新权利。

  • 与 Databricks SQL 相关的审核日志事件标记已更改：

    • Databricks 事件SQL前缀现为 databrickssql。
    • changeSqlAnalyticsAcl 现为 changeDatabricksSqlAcl。
• 仪表板更新
  • 仪表板导出文件名已更新为仪表板的名称 + 时间戳，而不是 UUID。
  • 导出记录限制已从 22k 提升至 64k。

• 现在，可以使用 Azure Key Vault 中你自己的密钥来加密存储在 Azure Databricks 中的 SQL 查询和 Databricks 查询历史记录。 如果已配置自己的工作区密钥来加密托管服务的数据（笔记本和机密），则无需执行进一步操作。 用于托管服务的客户管理的密钥现在还加密 Databricks SQL 查询和查询历史记录。 请参阅托管服务的客户管理的密钥。 此更改仅影响存储在其他位置的新数据。 今天之前存储的 Databricks SQL 查询和查询历史记录不一定使用此密钥进行加密。

  Databricks SQL 查询结果存储在根 Azure Blob 存储实例中，该实例由 Azure Databricks 在工作区设置过程中创建，不由你的托管服务密钥加密。 但是，你可以使用自己的密钥来加密它们。 请参阅为 DBFS 根启用客户管理的密钥。

  此功能在高级计划中提供。

• “过去的执行”选项卡现在显示相对时间。

• Databricks SQL 不再尝试猜测列类型。 以前，即使采用 xxxx-yy-dd 格式的列是标识代码，系统也将它当做日期处理。 而现在，系统不再将此列自动看做是日期。 如果需要，必须在查询中指定它。 此更改可能导致某些依赖先前行为的可视化效果失效。 在此版本中，可通过更改“设置”>>“向后兼容性”选项，返回到之前的行为。 在未来版本中，我们将删除此功能。

• 查询编辑器现在有一个查询进度指示器。 状态更改现显示在不断更新的进度栏中。

  

• 现可以 PDF 格式下载仪表板的内容。 请查看以 PDF 格式下载。
• 管理员用户现可查看对所有查询和仪表板的访问权限。 在此视图中，管理员可查看和删除任何查询或仪表板。 但是，如果查询或仪表板未与管理员共享，则管理员无法编辑查询或仪表板。请参阅查询管理员视图和旧版仪表板管理员视图。
• 现可对所有帐户使用多租户负载均衡增加终结点并发。 可创建在指定的最小群集计数和最大群集计数之间自动缩放的终结点。 负载过多的终结点将纵向扩展，负载不足的终结点将纵向缩减。

• 查询选项和详细信息现在组织为查询编辑器左侧的一组选项卡：

  • “数据源”：从可用的数据源和架构中进行选择。 请参阅创建查询。

    

  • “过去的执行”：查看在 SQL 编辑器中执行的过去的执行。 这不会显示计划的执行。 请参阅在 SQL 编辑器中编写查询和浏览数据。

    

  • “查询信息”：设置查询说明、查看有关查询的信息并设置刷新计划。 请参阅在 SQL 编辑器中编写查询和浏览数据和安排查询。

    

• 修复了因内部错误似乎删除了终结点而导致其无法访问的问题。

Databricks SQL 保持了与 Apache Spark SQL 语义的兼容性。 此版本更新了语义以匹配 Apache Spark 3.1 的语义。 之前的 Databricks SQL 语义与 Apache Spark 3.0 的语义匹配。

• 统计聚合函数（包括 std、stddev、stddev_samp、variance、var_samp、skewness、kurtosis、covar_samp 和 corr）在表达式求值期间发生 DivideByZero 时（例如，stddev_samp 应用于单个元素集时）会返回 NULL 而不是 Double.NaN。 在此版本之前，会返回 Double.NaN。
• grouping_id() 返回长值。 在此版本之前，此函数返回 int 值。
• 查询计划解释结果现已设置格式。
• 如果指定的日期/时间模式无效，from_unixtime、unix_timestamp、to_unix_timestamp、to_timestamp 和 to_date 将失败。 在此版本之前，会返回 NULL。
• 如果 Parquet、ORC、Avro 和 JSON 数据源在顶级列以及嵌套结构中检测到重复名称，会引发异常 org.apache.spark.sql.AnalysisException：“在读取的数据架构中发现重复列。”
• 在将结构和映射强制转换为字符串时，会用 {} 括号将它们括起来。 例如，show() 操作和 CAST 表达式会使用此类括号。在此版本之前，是使用 d 括号来实现此用途。
• 在将结构、数组和映射的 NULL 元素强制转换为字符串时，会将其转换为“null”。 在此版本之前，会将 NULL 元素转换为空字符串。
• 对 decimal 类型列的溢出求和会返回 null。 在此版本之前，在这种情况下，对 decimal 类型的列求和可能会返回 null 或不正确的结果，甚至会在运行时失败（具体取决于实际的查询计划执行情况）。
• 对于不完整的间隔文本（例如无效的 INTERVAL '1'、INTERVAL '1 DAY 2'），将返回 IllegalArgumentException。 在此版本之前，这些文本会生成 Null。
• 如果时间戳早于 1900-01-01 00:00:00Z 且加载（保存）为 INT96 类型，则从和向 Parquet 文件加载和保存时间戳将失败。 在此版本之前，这些操作不会失败，但可能会因为变基而导致输入的时间戳在公历和前公历之间切换。
• schema_of_json 和 schema_of_csv 函数以 SQL 格式返回架构，其中字段名称会用引号引起来。 在此版本之前，函数会返回一个目录字符串，其中字段不带引号并采用小写形式。
• 表架构中支持 CHAR、CHARACTER 和 VARCHAR 类型。 表扫描和插入遵循 char/varchar 语义。 如果将 char/varchar 用于表架构以外的地方，会引发异常（CAST 是一种异常，会直接将 char/varchar 视为类似于之前的字符串）。
• 对于来自 Hive 外部目录的表，将引发以下异常：
  • 如果已存在新分区，ALTER TABLE .. ADD PARTITION 会引发 PartitionsAlreadyExistException。
  • 如果不存在现有分区，ALTER TABLE .. DROP PARTITION 会引发 NoSuchPartitionsException。

• 使用 SQL 终结点排队提高了查询吞吐量。 现在，当正在运行的查询已使 SQL 终结点达到饱和时，提交到该终结点的查询会排队。 这使终结点不因请求过载，从而提高查询吞吐量。 可在终结点监视屏幕中查看改进后的性能。

• 在查询历史记录中快速查找查询的编译、执行和结果提取所花费的时间。 请参阅查询配置文件。 之前，只能单击查询，再打开“执行详细信息”选项卡来查看此信息。
• SQL 终结点不再扩展到超出指定的最大群集数。 分配给 SQL 终结点的所有群集都将 24 小时后被回收，这使得有短暂的时间存在一个额外的群集。

• 查询编辑器中的“自动完成”功能现支持 Databricks SQL 语法，并可感知上下文和别名。 请参阅创建查询。
• 当会话在服务器上超时后，JDBC 和 ODBC 请求不再失败并显示“会话无效”错误。 如果会话超时，BI 客户端现可无缝恢复。

• 为 Databricks SQL 功能新启用的工作区中的管理员和用户不再自动有权访问 Databricks SQL 功能。 若要实现对 Databricks SQL 功能的访问，管理员必须：
  1. 转到管理设置页。
  2. 单击“用户”选项卡。
  3. 在其帐户所在行中，单击“Databricks SQL 访问权限”复选框。
  4. 单击“确认”。
  5. 重复步骤 3 和 4，向用户授予对 Databricks SQL 的访问权限，或者向组授予访问权限。
• 只需在侧栏顶部选择 “新建”> [查询 | 仪表板 | 警报]，即可轻松创建查询、仪表板和警报。
• 查询编辑器现会保存草稿，且你可还原到已保存的查询。 请参阅在 SQL 编辑器中编写查询和浏览数据。
• 你无法再创建外部数据源。
• SQL 终结点监视图表的可靠性得到了提高。 该图表不再间歇性显示误报的错误消息。

• 查询、仪表板和警报 API 文档现已发布。 请参阅 Databricks REST API 参考。
• 现在会始终执行计划的仪表板刷新。 该刷新在 Web 应用中执行，因此无需在浏览器中保持仪表板打开。 请参阅自动刷新仪表板。
• 使用 SQL 仓库 API 创建的新 SQL 终结点现在启用了“自动停止”，并设置了 2 小时的默认超时。
• Tableau Online 用户现在可以连接到 SQL 终结点。 请参阅新的 Tableau Online 快速入门。

用于 Azure Databricks 的新 Power BI 连接器在 2020 年 9 月发布了公开预览版，现已推出 GA 版。 提供以下功能：

• 简单的连接配置：新的 Power BI Azure Databricks 连接器已集成到 Power BI 中，你只需要单击几下鼠标，即可使用简单的对话框对其进行配置。
• 基于 Microsoft Entra ID 凭据进行身份验证，管理员无需再配置 PAT 令牌。
• 由于新的 Azure Databricks ODBC 驱动程序提供了显著的性能改进，因此导入操作和优化的元数据调用操作速度更快。
• 通过 Power BI 访问 Azure Databricks 数据时，将遵守 Azure Databricks 表访问控制以及与你的 Microsoft Entra ID 标识关联的 Azure 存储帐户权限。

有关详细信息，请参阅将 Power BI 连接到 Azure Databricks。

• 在 SQL 终结点上设置权限的速度现在更快。 创建新 SQL 终结点后需执行此步骤，编辑现有终结点时也可轻松执行此步骤。 请参阅连接到 SQL 仓库和管理 SQL 仓库。
• 若要重复使用可视化效果设置，现在可以复制可视化效果。 请参阅克隆可视化效果。
• 查询结果存储在你的帐户中，而不是 Azure Databricks 帐户中。
• 若要通过列出对象的所有定义权限来防止信息泄露，必须具有以下身份才能运行 SHOW GRANTS [<user>] <object>：
  • Databricks SQL 管理员或 <object> 的所有者。
  • [<user>] 中指定的用户。

• 为了减少对空闲终结点的支出，新的 SQL 终结点现已启用“自动停止”，默认超时为 2 小时。 达到超时值后，终结点将停止。 你可随时编辑超时期限或禁用“自动停止”。
• 除了 TEXT 类型的查询参数，将不再向查询参数添加引号。 如果已使用 Dropdown List、Query Based Dropdown List 或任意 Date 类型的查询参数，则必须添加引号才能运行查询。 例如，如果查询是 SELECT {{ d }}，则现在此查询必须为 SELECT '{{ d }}'。

Databricks 很高兴地推出 Databricks SQL 公共预览版（一个直观的环境，可用于运行临时查询和基于数据湖中存储的数据创建仪表板）。 Databricks SQL 让组织能够运行多云 lakehouse 体系结构，该体系结构可提供数据仓库性能，且具有 Data Lake 经济性。 Databricks SQL：

• 与当前使用的 BI 工具（例如 Tableau 和 Microsoft Power BI）集成，查询数据湖中最完整和最新的数据。
• 使用 SQL 原生接口对现有 BI 工具进行补充，该接口支持数据分析师和数据科学家直接在 Azure Databricks 中查询数据湖数据。
• 支持通过丰富的可视化效果和拖放式仪表板共享查询见解，以及自动在重要数据发生更改时发出警报。
• 使用连接到 SQL 仓库为数据湖引入可靠性、质量、缩放、安全性和性能，以便使用最新和最完整的数据来运行传统的分析工作负荷。
• 引入了 USAGE 特权，以简化数据访问管理。 为了使用架构中的对象，除了执行该操作所需的所有特权以外，还必须获得该架构的 USAGE 特权。 可以将 USAGE 特权授予架构或目录。 对于已使用表访问控制的工作区，USAGE 特权会自动授予给根 CATALOG 上的用户组。 有关详细信息，请参阅 Hive 元存储特权和安全对象（旧版）。

有关详细信息，请参阅什么是 Azure Databricks 上的数据仓库？。

• SQL 编辑器。 在查询选项卡之间切换时，SQL 编辑器现在将保留所选文本和滚动位置。
• SQL 编辑器。 如果在 SQL 编辑器中针对某个查询单击“运行”，然后导航到另一个页面并在查询仍在执行时返回，则编辑器将显示正确的查询状态。 如果查询在你位于另一个页面时完成，则在返回到 SQL 编辑器页面时，查询结果将可用。
• 现在可以使用 MySQL 8.0 作为外部元存储。
• Delta 表上的 DESCRIBE DETAIL 命令不再失败并产生 java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• 读取具有 INT96 时间戳的 Parquet 文件不再失败。
• 用户具有针对查询的“可运行”权限并运行该查询时，如果该查询是由另一个用户创建的，则查询历史记录会将该查询的运行者显示为用户。
• 呈现图表时，现在忽略 Null 值，从而提高图表的可用性。 例如，以前，存在 null 值时，条形图中的条形看起来非常小。 现在，轴仅基于非 null 值进行设置。

• 从多群集负载均衡 SQL 终结点中的 Delta Lake 以外的数据源中读取的内容可能不一致。
• 在 Databricks SQL 中访问的 Delta 表将其架构和表属性上传到配置的元存储。 如果使用的是外部元存储，则可以在元存储中查看 Delta Lake 信息。 Delta Lake 会尽最大努力使这些信息保持最新状态。 也可使用 DESCRIBE <table> 命令来确保元存储中的信息已更新。
• Databricks SQL 不支持将“GMT+8”等区域偏移作为会话时区。 解决方法是改用基于区域的时区，例如“Etc/GMT+8”。 有关设置时区的详细信息，请参阅 SET TIME ZONE。

• Databricks SQL 工作负载如何计费？
• SQL 终结点在何处运行？
• 能否从“数据科学与工程”工作区 SQL 笔记本使用 SQL 终结点？
• 我已使用云提供商凭据授予了对数据的访问权限。 为什么无法在 Databricks SQL 中访问此数据？

Databricks SQL 工作负载按标准作业计算 SKU 收费。

与 Azure Databricks 群集一样，SQL 终结点也要在 Azure 帐户中进行创建和管理。 SQL 终结点在你的帐户中自动管理 SQL 优化的群集，并根据最终用户需求进行缩放。

错误。 可以从 Databricks SQL 查询BI 工具和其他 JDBC 和 ODBC 客户端使用 SQL 终结点。

在 Databricks SQL 中，对数据的所有访问都受限于数据访问控制，管理员或数据所有者必须首先授予你适当的权限。