Databricks SQL 发行说明

本文列出了新的 Databricks SQL 功能和改进,以及已知问题和常见问题解答。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上 Azure Databricks 服务的演进历史供参考,这些内容可能不适合 Azure 中国云。

发布过程

Databricks 将持续发布对 Databricks SQL Web 应用程序用户界面的更新,所有用户都获得相同的更新,并在短时间内推出。

此外,Databricks 通常会定期发布新的 SQL 仓库计算版本。 两个通道始终可用:“预览”和“当前”。

注意

发布分阶段进行。 Databricks 帐户只有在初始发布日期后一周或更长时间之后才可能更新为新的 SQL 仓库版本或 Databricks SQL 功能。

注意

Databricks SQL 无服务器在由世纪互联运营的 Azure 中不可用。

声道

通道可让你选择是使用当前 SQL 仓库计算版本还是预览版本。 预览版可让你在某些功能成为 Databricks SQL 标配之前试用这些功能。 利用预览版本针对即将发生的更改测试你的生产查询和仪表板。

通常,预览版本会在发布到预览版通道大约两周后升级为当前通道。 某些功能(如安全功能、维护更新和 bug 修复)可能会直接发布到当前通道。 Databricks 可能会经常将预览版本提升到当前的通道,并按不同的时间表进行。 每个新版本将在以下部分中公布。

若要了解如何将现有 SQL 仓库切换到预览版通道,请参阅预览版通道。 用户界面更新部分列出的功能独立于发行说明的修复的问题部分描述的 SQL 仓库计算版本。

可用的 Databricks SQL 版本

当前通道:Databricks SQL 版本 2023.50

预览通道:Databricks SQL 版本 2024.10

2024 年 2 月 29 日

  • 目录资源管理器中的架构浏览器现在会显示列主键和外键约束。

  • 目录资源管理器的“世系”选项卡中显示的保留时间已增加至一年。

  • 笔记本中新图表上的工具提示现在始终呈现在可视化边界内。

  • 了解如何使用 REST API 以编程方式管理 Lakeview 仪表板。

  • Lakeview 仪表板现在支持直方图。

  • 改进了 Lakeview 仪表板中的共享和发布功能:

    • 改进了共享和发布对话框,允许安全轻松地与任何帐户用户共享。
    • 从工作区浏览器打开的仪表板会显示已发布的仪表板(如果存在)。 查看者现在还可以查看最新发布版本的详细信息,包括发布者、时间和凭据。
    • 对于编辑者而言,Lakeview 仪表板 UI 中的新下拉切换器可让他们在草稿版和已发布版本之间快速移动。

2024 年 2 月 22 日

  • 改进了目录资源管理器表视图中的“示例数据”选项卡,可对列进行排序,将所选数据复制到剪贴板,并查看行号。 现在可以更好地显示特殊值,例如 JSON 对象、日期、数字和 null 值。

  • Lakeview 仪表板现在支持向工作区用户和通知目标发送仪表板的定期 PDF 快照。

  • Lakeview 下拉列表选取器中的可视化选项列表现在按字母顺序排序。

  • 将 Databricks SQL 仪表板复制到 Lakeview 仪表板时,无法转换的小组件现在会显示可视化配置选取器,而不是错误消息。

2024 年 2 月 15 日

  • 已删除基于代码的查询筛选例器(例如 SELECT action AS 'action::filter')的文档。 Databricks 建议更新查询以删除此模式。

  • 对于 Lakeview 仪表板,饼图现在在未指定角度字段时显示相同大小的切片。

  • Lakeview 现在支持组合图,将条形图和折线图组合在一起,以在同一个图表上显示两个不同的值。

  • 热度地图使用颜色强度显示两个离散变量之间的关联程度,现已在 Lakeview 中提供。

2024 年 2 月 8 日

  • 现在,你可以在打开指向你无权访问的 Lakeview 仪表板的链接时请求访问权限。
  • Lakeview 仪表板筛选器现在具有显式“全部”和“无”选项。 作者可以选择在单选筛选器中隐藏“全部”选项
  • 现在可以在 Lakeview 仪表板图表上设置轴的最小值和最大值。

2024 年 2 月 1 日

Databricks SQL 版本 2024.10 可用

推出时间表

  • 2024.10 预览版推出时间:2024 年 1 月 30 日至 2024 年 2 月 5 日
  • 2024.10 当前版推出时间:2023 年 2 月 13 日至 2024 年 2 月 20 日

2024.10 中的更改

  • 修复了 DML 命令中的损坏文件处理:DML 命令 DELETEUPDATEMERGE INTO 不再遵循读取选项 ignoreCorruptFilesignoreMissingFiles。 在表中遇到不可读的文件时,即使指定了这些选项,这些命令现在也会失败。
  • 行级别并发已正式发布,默认情况下处于启用状态:行级别并发通过检测行级别的更改来减少并发写入操作之间的冲突。 仅无分区的表上才支持行级并发,包括使用 liquid 聚类的表。 启用了删除向量的 Delta 表上会默认启用行级并发。 请参阅行级并发的写入冲突
  • Unity Catalog 外部表的浅表克隆(公共预览版):现在可以对 Unity Catalog 外部表使用浅表克隆。 请参阅适用于 Unity Catalog 表的浅表克隆
  • 更快的多线程统计信息收集:当运行 CONVERT TO DELTA 或从 Iceberg 和 Parquet 表克隆时,小型群集上的统计信息收集速度最高可提高 10 倍。 请参阅转换为 Delta Lake以增量方式将 Parquet 和 Iceberg 表克隆到 Delta Lake
  • Delta 文件的 DeltaSource 中的下推筛选器:为了获得更高的利用率,Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta,然后再进行速率限制。

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

  • Databricks SQL 对象(查询、仪表板和警报)列表页面上的“管理员视图”选项卡已删除。 工作区管理员用户可以从各自的列表页查看所有对象。 请参阅访问和管理保存的查询Databricks SQL 仪表板以及什么是 Databricks SQL 警报?

  • 查询历史记录页默认显示过去 24 小时内的查询。 请参阅查询历史记录

  • “克隆到 Lakeview 仪表板”菜单选项已添加到 Databricks SQL 仪表板 UI。 可以使用此工具创建新的 Lakeview 仪表板,其中包含现有 Databricks SQL 仪表板中的相同查询和可视化效果。

  • Lakeview 仪表板中的条形图支持堆叠条形图标准化为 100%。

  • 修复了以下问题:在已发布的 Lakeview 仪表板上执行放大操作导致专注于不正确的缩放间隔。

2024 年 1 月 24 日

  • Lakeview 仪表板画布可自动调整小组件位置,以尽可能移除行之间的垂直空白。
  • 减少了 Lakeview 仪表板可视化效果中标题和说明文本之间的空白。

2024 年 1 月 18 日

  • 修复了一个可视化效果的呈现问题:条形图在 x 轴上显示单个日期,导致条形图非常细。 新的图表可视化效果呈现符合预期。

  • 默认情况下,Lakeview 仪表板列表页会显示仪表板。 可以使用该页面上的筛选器来访问其他工作区用户拥有的 Lakeview 仪表板。

2024 年 1 月 11 日

  • Databricks SQL 查询和仪表板 API 支持以编程方式更改运行方式角色设置。

  • Lakeview 支持将仪表板导出和导入为文件,以便跨工作区重现草稿仪表板。

2024 年 1 月 4 日

  • 在目录资源管理器中引入了主键和外键实体关系图。 请参阅《查看实体关系图》。

2023 年 12 月 21 日

  • Lakeview 计数器可视化效果类型会在比较主要的“值”和“目标”字段中的 BigInt 值时显示颜色。

  • 在 Lakeview 中的表上切换列可见性时出现的工具提示已得到改进。 它们的行为符合预期,但不会持续存在。

  • 用户现在可以使用 Databricks 助手在 Lakeview 中创建可视化效果。

  • 就新图表来说,热度地图类型图表遵循 reverseY 设置。

  • 修复了具有大量可视化效果的笔记本的渲染性能问题。

2023 年 12 月 14 日

  • 修复了在没有手动页面刷新的情况下,Lakeview 仪表板未显示在 Lakeview 列表页中的 bug。
  • 在将 Lakeview 小部件放置在画布上时,使用 Esc 键取消其创建。
  • Catalog Explorer 现在会在 UI 中显示矢量搜索索引,作为 Databricks 矢量搜索公共预览版的一部分。

2023 年 12 月 7 日

用户界面更新

  • 可以将 Lakeview 仪表板添加到收藏夹,以便快速访问。

  • 起草 Lakeview 仪表板时,支持复制和粘贴键盘快捷方式。 此外,还可使用 Delete 键删除选定的小组件。

  • 增强了 Lakeview 小组件标题和说明,以防止在加载期间剪辑文本。

  • 更正了大整数值被错误地显示为浮点数的可视化效果格式设置问题。

  • 修复了 Databricks SQL 仪表板的问题:展开的图表视图有时会显示空白图表。

  • X 轴和 Y 轴上都有定量字段的条形图可呈现更清晰的数据标签。

  • 修复了 SQL 编辑器中的问题,使标题中包含单词 stream 的表不再与保留关键字冲突。 这些表现在在架构浏览器中按预期显示,不会突出显示错误。

  • 查询历史记录页现在支持列大小调整和列选择。

  • 查询历史记录页支持两个新列:查询源和查询源类型

  • BI 选项(如 Tableau 和 Power BI)在符合条件的页面上的目录资源管理器中更容易找到。

2023 年 11 月 30 日

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

  • Lakeview 中的饼图现在可以分配自定义颜色。

  • 在兼容字段类型之间切换时,可视化效果转换会保留在 Lakeview 中。

  • Lakeview 饼图角度通道添加了标题设置。

  • Lakeview 数据集下拉列表现在可搜索,以便更轻松地进行导航。

  • Lakeview 支持 10,000 以下值的完整数值显示,不再使用缩写。

  • Lakeview 中添加了颜色代码分类日期字段功能。

  • Lakeview 用户现在可以使用光标突出显示图表图例,以复制和粘贴值。

  • Lakeview 中的饼图现在提供标签切换选项。

  • 所有 Lakeview 可视化效果默认使用标准化的蓝色。

  • 转换中的 Lakeview 列图标现在统一与所使用的转换方法匹配。

  • Lakeview 编辑面板中的控件现在自动换行,以提高可读性。

  • Lakeview 可视化效果发布了一款增强的颜色编辑器。

  • Lakeview 中表格字体的控件现在支持换行以增强可读性。

  • 改进了新图表中标签在深色模式下的兼容性。

  • 新图表现在在条形中始终优先显示标签。

  • 修复了 SQL 编辑器中某些右键单击菜单操作不起作用的 bug。

2023 年 11 月 16 日

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

  • Databricks SQL 查询警报仪表板具有新的计划程序和计划界面。

  • 由于具有较大的重设大小触发器区域,Lakeview 小组件现在更易于重设大小。

  • 工作区管理员现在可以更改 Lakeview 仪表板的所有者。

    • 单击“共享
    • 单击 齿轮图标
    • 单击“分配新所有者”
  • 用户可以在 Lakeview 中打开或关闭标签。

可视化效果:

  • 新的图表标签现在更倾向于尽量位于条形图内。
  • 新的图表标签现在可以正确显示在宽度足以显示整个标签的堆积条形图上。
  • 条形图中的标签颜色现在更加一致。

2023 年 11 月 9 日

2023.50 中的更改:

亮点:

SQL 语言更新:添加了以下内置函数:

增强了以下内置函数:

  • 函数调用。 函数的表参数支持分区和排序:现在可以使用 PARTITION BYORDER BY 子句来控制如何将表参数传递给函数。
  • mode:支持强制确定性结果的可选参数。
  • to_char:对 DATETIMESTAMPBINARY 的新支持。
  • to_varchar:对 DATETIMESTAMPBINARY 的新支持。
  • array_insert() 对于负索引是基于 1 的:array_insert 函数对于正索引和负索引都是基于 1。 现在,它在索引 -1 的输入数组末尾插入新元素。

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

可视化效果:

  • 新图表的工具提示仅显示高基数图表的悬停项。
  • 新图表会自动将双轴图表对齐为零。
  • 图表将旋转的标签和轴文本角度方向从 -90 度更改为 90 度。
  • 图表现在使用标签的宽度来决定旋转。

Lakeview 仪表板:

  • 修复:当只返回少量行时,Lakeview 仪表板中的表行不再添加垂直填充。
  • 克隆新 Lakeview 仪表板小组件首先尝试将克隆放置在原始仪表板小组件的右侧,前提是画布上有足够的空间。 如果可用空间不足,则将克隆放置在原始项下方。
  • 现在,可以通过“共享”对话重新分配 Lakeview 仪表板的所有者。

SQL 编辑器:自动完成现在不那么主动了,在语句结束时自动取消

2023 年 11 月 2 日

改进:

以下是对 Lakeview 仪表板世系的改进:

  • 为表、视图和具体化视图添加了不同的图标。
  • 在存在许多上游数据源的情况下添加了对垂直滚动的支持。
  • 改进了查看器缺少上游对象权限时出现的错误消息。
  • 澄清了有关示例数据表和 HMS 数据的消息传送。
  • 向上游数据源添加键值标签。

解决方法:

  • 修复了新图表中的一个问题,该问题在用布尔值重命名系列后阻止呈现。

2023 年 10 月 26 日

Databricks SQL 版本 2023.45 中的更改

亮点:

查询优化:

  • 如果外部联接都是不同的聚合函数,则移除它们。 SPARK-42583
  • 优化了筛选谓词的顺序。 SPARK-40045

SQL 函数更新:

用户界面更新

改进:

  • Lakeview SQL 编辑器现在支持用于运行查询的键盘快捷方式。

  • Lakeview 中的筛选器现在列出了过去 7、14、28、30、60 和 90 天的快速相对日期范围选择。

  • 数据字段名称中的句点不再导致出现空白图表。

  • 旧架构浏览器现在适用于 Unity Catalog。

  • 实现了性能改进,现在仅加载 SQL 编辑器中的活动选项卡,这将初始加载时间减少最多 20%。

  • 目录资源管理器中的 AI 生成的表注释现已正式发布。

修复:

  • 时态条形图上的条形现在以日期刻度线为中心。
  • 具有聚合表达式的数据标签模板现在使用正确的数字格式化程序。
  • 现在,缩放新图表适用于使用时态数据进行分类的规模集。

新文章:

  • 发布了一篇展示所有 Lakeview 可视化效果的新文章,包括屏幕截图和说明,其中显示了如何重新创建每个屏幕截图中的每个可视化效果。

2023 年 10 月 19 日

改进:

  • 架构浏览器中的拖放功能现已可用。

  • 使用 Lakeview 仪表板中的“选择表”模态框可以更轻松地从目录或架构中的所有表中选择内容,并且现在在您键入时使用自动完成搜索预测。

修复:

  • 图例选择工具提示说明指定 Mac 用户使用 cmd,Windows 用户使用 ctrl

  • 当呈现的数据超出限制时,增强了 Lakeview 仪表板中截断消息的可见性。

  • 包含截断数据的图表显示的颜色与编辑器中所示的颜色一致。

2023 年 10 月 12 日

改进:

  • 包含特殊字符的文本筛选器值现在 Lakeview 仪表板中正确筛选。

  • 新图表支持在散点图上使用 @@name 数据标签。

  • 自定义的百分比格式适用于新图表中的分组图表工具提示。

  • 工作区绑定扩展 UI 已正式发布。

修复:

  • 改进了新图表上的标签呈现,防止标签溢出到图表边界之外。
  • 增加了新图表上的刻度线和网格线的对比度,以提高可见性。
  • 增加了轴标签间距,以提高新图表的可读性。

2023 年 10 月 5 日

改进:

  • 为 Lakeview 仪表板中的发布模式操作和日期世系添加了准确的工具提示。

  • Lakeview 表可视化效果中的条件格式和链接模板现在支持隐藏的列。

  • 优化了宽条时态图表的标签定位,以提高新图表的清晰度。

  • 即使在删除其他字段后,Lakeview 中的计数器可视化效果仍会保留其转换,从而确保一致性。

  • 现在,将鼠标悬停在图表中的系列上会使工具提示中周围的系列变暗,以提高新图表的可读性。

  • 使用百分比值的新图表现在会显示带有绝对值的工具提示。

  • 添加了对创建卷的自动补全支持。

  • 关闭非活动选项卡时不再切换选项卡。

  • 突出显示文本时,选定的运行会清楚地进行指示。

修复:

  • 改进了数据被截断时数据透视表中出现的错误消息措辞。

  • 修复了数据透视表中使用 BigInt 数据类型时不显示颜色的渲染错误。

  • 在包含大量图例项的新图表中下载 PNG 时,删除了溢出图例条目的颜色符号。

  • 新图表中的线条即使在最顶部的视图边界也会保持一致的粗细。

  • 在 Lakeview 中,如果不存在数据集,则 Canvas 中的数据集选取器为空。

  • 增量实时表由 SQL 分析程序正确检测,并且不会在架构浏览器中显示为无效表。

  • 工具提示已添加到边栏。

2023 年 9 月 28 日

改进:

  • 已发布的 Lakeview 仪表板现在有一个刷新按钮。

  • 为无权访问 Lakeview 仪表板的用户改进了错误消息。

  • Lakeview 仪表板中的筛选器配置现在在选择列表的顶部列出有效字段。

  • 从 Lakeview 仪表板下载 PNG 图表时,现在会保留标题和说明。

  • 目录资源管理器中的数据表历史记录的改进包括添加日期范围、用户和操作类型的筛选器;添加可排序的列;添加关联作业和笔记本的内联链接。

  • 在图例、工具提示和表格可视化效果中添加了深色模式支持。

解决方法:

  • 刷新 Lakeview 仪表板时不再清空筛选器选择。

2023 年 9 月 21 日

改进:

  • 数据透视表呈现性能已得到改进。
  • UI 中世系表格视图的新 DuBois 模式。

2023 年 9 月 14 日

改进:

  • 在新的图表可视化效果中下载 PPNG 时,现在会保留文件名。

2023 年 9 月 7 日

Databricks SQL 版本 2023.40 可用

推出时间表

  • 2023.40 预览版推出时间:2023 年 9 月 5 日至 2023 年 9 月 11 日
  • 2023.40 当前版推出时间:2023 年 9 月 18 日至 2023 年 9 月 25 日

2023.40 中的更改:

  • Unity Catalog 现已推出标记。
  • 如果在查询计划和调用之间修改了文件,Databricks Runtime 将返回错误。
  • Azure Databricks ODBC/JDBC 驱动程序支持。
  • 启用时序列标记。
  • 新位图 SQL 函数。
  • 改进了加密函数。
  • REFRESH FOREIGN. 的 Unity Catalog 支持
  • 现在支持 INSERT BY NAME
  • 与 Delta Sharing 共享具体化视图。

用户界面更新

改进:

  • 现在提供了新的图表,具有更快的呈现性能、美观的颜色和改进的交互性。

  • 在查询配置文件的图形视图中,现在可以在查询计划中包含联接的任何节点上查看联接类型。

  • 数据资源管理器已重命名为目录资源管理器,以迎合这样一个事实:你可以使用它来处理 Unity Catalog 中的所有安全对象,而不仅仅是数据对象。 请参阅什么是目录资源管理器?

  • Databricks SQL 语句执行 API 现已正式发布,其中包含 Databricks SQL 版本 2023.35 及更高版本。 API 允许提交 SQL 语句以在 Databricks SQL 仓库上执行,检查状态和提取结果,或取消正在运行的 SQL 语句执行。 请参阅语句执行 API

2023 年 8 月 31 日

新功能:

  • Unity Catalog 的标记功能以公共预览版提供。 可以使用标记来简化数据资产的搜索和发现。 请参阅应用标记

2023 年 8 月 24 日

改进:

  • 按空格键后,自动完成会停止建议。
  • 架构浏览器不再将 live Delta Live Tables 视为损坏的表。

2023 年 8 月 16 日

改进:

  • 切换选项卡时,SQL 编辑器中的“目录”下拉列表现在会关闭。 以前,当你切换选项卡时,下拉列表将保持打开状态。

2023 年 8 月 10 日

改进:

  • 自动完成现在支持用于设置 Unity Catalog 标记的新语法。 有关命令的信息,请参阅 SQL 语言参考

2023 年 8 月 3 日

改进:

  • 基础 Monaco 编辑器现在使用版本 37.1。
  • 自动完成支持 SHOW ARCHIVED FILES FOR Delta 命令。

2023 年 7 月 27 日

改进:

  • SQL 编辑器现在与 Windows 换行符兼容,可确保查询格式在所有情况下都按预期工作。
  • 可以从笔记本结果打开查询配置文件导航。 对于查询,请使用 SQL 仓库运行查询。

2023 年 7 月 20 日

Databricks SQL 版本 2023.35 可用

推出时间表

  • 2023.35 预览版推出时间:2023 年 7 月 18 日至 2023 年 7 月 24 日
  • 2023.35 当前版推出时间:2023 年 7 月 31 日至 2023 年 8 月 8 日

2023.35 中的更改:

  • 在 Unity Catalog 中使用浅表克隆增强 VACUUM 的可靠性。
  • SQL 中对 Python UDF 的支持。
  • Delta Lake UniForm for Iceberg 为公共预览版。
  • Delta Lake Liquid 聚类分析为公共预览版。
  • Delta Lake 的存档支持。
  • IDENTIFIER 子句支持。
  • Unity Catalog 支持 Python 和 Pandas 用户定义的函数 (UDF)。

改进:

  • 目录资源管理器中表的受欢迎度适用于所有 Unity Catalog 用户。

2023 年 7 月 13 日

改进:

  • Unity Catalog 用户现在可以在目录资源管理器中查看其他表见解,例如经常联接的表、经常使用给定表的用户以及常用的笔记本和仪表板。

2023 年 6 月 22 日

公共预览版:

  • Databricks SQL 现在支持模型服务终结点上托管的大型语言模型 (LLM)。 调用 ai_query() 以访问 LLM。 此函数仅在 Databricks SQL Pro 和无服务器版本上作为公共预览版提供。

2023 年 6 月 15 日

新功能:

  • 工作流中的 SQL 任务现已正式发布。 可以从“工作流”页协调查询、仪表板和警报。 请参阅任务类型选项
  • 新的架构浏览器现已推出公共预览版,具有更新的 UX、为你精选选项卡和经过改进的筛选器。 该架构浏览器在 Databricks SQL、目录资源管理器和笔记本中可用。 请参阅浏览数据

2023 年 6 月 8 日

DBSQL 版本 2023.30 现已提供

2023.30 中的更改

  • 新的 SQL 内置函数,例如 array_prepend(array, elem)try_aes_decrypt(expr, key [, mode [, padding]])sql_keywords()
  • 现在可以使用浅表克隆根据现有的 Unity Catalog 托管表创建新的 Unity Catalog 托管表。 请参阅适用于 Unity Catalog 表的浅表克隆
  • 现在可以将 CLONECONVERT TO DELTA 用于在 intlongstring 类型的截断列上定义了分区的 Iceberg 表。 decimal 类型的截断列不受支持。
  • 现已对 ALTER SHARE 弃用了 START VERSION

用户界面更新

修复:

  • 计数器可视化现在支持使用大整数时的格式设置。

2023 年 6 月 1 日

改进:

  • 使用箭头格式时,二进制数据现在将呈现为十六进制字符串。

  • 在 SQL 语句 API 中,EXTERNAL_LINKS 处置现在支持 CSV 格式。 这允许客户端使用预签名 URL 提取最多 100 GiB 的 CSV 格式数据,而 JSON 的 INLINE 限制为 16 MiB。

  • Azure Databricks SQL Pro 在中国所有区域均可用。 SQL Pro 现在是 UI 中的默认仓库。 API 默认值仍为“经典”。

2023 年 5 月 29 日

新功能:

2023 年 5 月 25 日

改进:

  • 现在可以切换自动完成结果面板。
  • 禁用 Enter 键,使其不再接受自动完成建议。 在“DBSQL 用户设置”下,单击“编辑器设置”,然后单击“新建编辑器设置”。 关闭 Enter 键接受自动完成建议

修复:

  • 排序后的表标题现在以颜色标识。
  • 图表线现在可正确呈现。

2023 年 5 月 18 日

改进:

  • 在 SQL 语句 API 中,EXTERNAL_LINKS 处置现在支持 JSON_ARRAY 格式。 可以使用预签名 URL 提取最多 100 GiB 的 JSON 格式数据。 JSON 的 INLINE 限制为 16 MiB。

2023 年 5 月 11 日

新功能:

  • 架构浏览器现已在目录资源管理器中正式推出。

改进:

  • 悬停时的表详细信息面板显示不太敏感了。
  • Escape 键现在可关闭自动完成面板。
  • 视图定义现在在“目录资源管理器详细信息”选项卡中突出显示语法。

修复:

  • 数据透视表现在会在 Windows 设备上正确呈现。
  • 完成建议现在正确遵循第一个关键字的大小写。

2023 年 5 月 4 日

Databricks SQL 版本 2023.26 发布

推出时间表

  • 2023.26 预览版推出时间:2023 年 4 月 19 日至 2023 年 4 月 25 日之间
  • 2023.26 当前版推出时间:2023 年 5 月 3 日至 2023 年 5 月 10 日之间

2023.26 中的更改

  • 如果在查询规划和执行这段时间修改了文件,Photon 会返回错误。
  • 新功能和对预测性 I/O 功能的外延支持。 请参阅 Databricks Runtime 13.0(不受支持)
  • 使用 Azure Databricks 连接器连接到另一个 Azure Databricks 工作区。
  • Delta 表的 CREATE TABLE LIKE 功能。
  • 表示文件块开始和长度的新元数据列字段。
  • 新的 H3 地理空间函数。 请参阅 H3 地理空间函数
  • 新的 SQL 内置函数。 请参阅 Databricks Runtime 13.0(不受支持)

用户界面更新

改进:

  • 管理员可以使用用户界面或 API 更改仓库所有者。 请参阅 SQL 仓库访问控制
  • 目录资源管理器现在在 Unity Catalog 的资产的用户列表中显示帐户服务主体。 例如,在目录资源管理器中编辑特权或更改所有者时可以看到帐户服务主体。
  • 自定义图表标签支持引用数据集中的任何列的功能。
  • 仪表板筛选器现在会加载列名称,即使在使用没有目录或架构信息的查询时也是如此。

2023 年 4 月 27 日

改进:

  • SQL 编辑器现在依赖于 Monaco 编辑器来获得更可靠的编辑体验。
  • SQL 历史记录列表页(查询)现在包含 Dubois 设计系统。

2023 年 4 月 20 日

改进:

  • 引入了新的透视表用于聚合超过 64k 个结果。
  • Databricks SQL 表和可视化效果现在支持 BigInt、38 位十进制数和非 UTF-8 字符。 对于数字,默认设置现在是用户定义的数字精度。
  • 自动完成现在会建议对 Unity Catalog 表进行频繁的旧数据联接,该技术由 Databricks Runtime 12.0 及更高版本中的 Unity Catalog 世系数据提供支持。

新功能:

  • 在提供提示的情况下,返回选定的大型语言模型 (LLM) 使用 ai_generate_text 生成的文本。 此函数仅在 Databricks SQL Pro 作为公共预览版提供。

2023 年 4 月 13 日

新功能:

  • TIMESTAMP_NTZ 类型表示由年、月、日、小时、分钟和秒字段组成的值。 无论时区如何,都会执行所有操作。 请参阅 TIMESTAMP_NTZ 类型

改进:

  • 用户现在可以通过在自定义警报消息中使用 QUERY_RESULT_TABLE 标记,在警报中发送带格式的结果。
  • 用户现在可以在目录资源管理器中查看 Unity Catalog 表的文件数据大小。

2023 年 4 月 6 日

Databricks SQL 版本 2023.20 可用

推出时间表

  • 2023.20 预览版推出时间:2023 年 3 月 15 日至 2023 年 3 月 23 日
  • 2023.20 当前推出时间:2023 年 3 月 27 日至 2023 年 4 月 3 日

2023.20 中的更改

  • Delta Lake 架构演变支持在合并语句中指定源列。
  • 使用 array_compact 从数组中删除所有 NULL 元素。
  • 若要将元素追加到数组,请使用 array_append
  • 若要匿名化敏感字符串值,请使用 mask 函数
  • 常见错误条件现在返回 SQLSTATE
  • 在查询的常规 FROM 子句中调用表值生成器函数。
  • 使用 from_protobufto_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区
  • 改进了与 updatedeletemerge 命令相关的空事务的 Delta 提交行为一致性。
  • 行为变更
    • 横向列别名功能在名称解析期间会造成行为变更。 请参阅行为更改

用户界面更新

改进:

  • 目录资源管理器现在支持删除 Hive 元存储删除。
  • 可视化效果编辑器初始状态的消息已从“缺少必需的列”更改为“无数据”。

2023 年 4 月 3 日

新功能:

2023 年 3 月 30 日

改进:

  • 在仓库监视页上,现在可以查看所选时间范围内的查询历史记录以及缩放图表。 还可以查看当前正在运行和已排队的查询、处于活动状态的 SQL 会话、仓库状态和当前群集计数。 请参阅监视 SQL 仓库
  • 地图聚类分析现在默认在标记地图中处于关闭状态。
  • 添加了有关可视化效果截断和呈现限制的工具提示。

修复:

  • 对轴值禁用排序并且图表包含分组依据列时,图表现在遵循原始顺序。

2023 年 3 月 23 日

改进:

  • 可视化效果现在支持按周进行时间分箱。
  • Total 现在会计算笔记本透视表中超过 100 X 100 个单元格的所有数据,最多返回 64k 个结果。
  • 用户现在可为新笔记本透视表中的单元格值设置格式。
  • 文件、查询和特征存储世系可用。

2023 年 3 月 16 日

改进:

  • 支持 GROUP BY ALL 语法。

2023 年 3 月 9 日

新功能:

  • Databricks SQL 语句执行 API 现已推出公共预览版。 语句执行提供针对 Databricks SQL 仓库运行 SQL 语句的终结点。 它还可以检查状态、提取结果和取消正在运行的 SQL 语句。

改进:

  • SQL 管理控制台已与常规管理设置合并,以便为管理员用户创建统一的体验。 现在可从管理控制台访问所有 SQL 管理员设置。
  • 警报目标现在称为通知目标。

修复:

  • 表不再显示两个滚动条。
  • 空白小组件标题不再在仪表板上被覆盖。

2023 年 3 月 2 日

解决方法:

  • 现在可以使用表中的相对 URL 来访问仪表板。

2023 年 2 月 23 日

改进:

  • TINYINT 现在在笔记本的结果表中受支持。

解决方法:

  • 修复了以下 bug:在“创建仪表板”筛选器模式上滚动导致错误。

2023 年 2 月 16 日

改进:

  • 图表上的数据标签现在显示更多字符,以避免截断说明。
  • 自动完成现在可以识别 range() 和 Python UDF create 函数。
  • 自动完成现在可避免在小数和代码注释中启动代码片段。

修复:

  • 用户现在可以放大地图。
  • 在笔记本中,颜色现在已正确分配给图表。

2023 年 2 月 2 日

改进:

  • 在编辑器中支持 DESCRIBE DETAILS
  • 提高了架构浏览器加载速度。
  • 现在可以在 SELECT * 的侧面板上查看可能列的列表。

2023 年 1 月 26 日

改进:

  • 查询的错误消息现在包含指向描述该错误的相关文档主题的链接。

2023 年 1 月 19 日

改进:

  • 现在可以找到“新增功能”面板,其中突出显示了关键增强功能。 可以通过单击礼物图标打开和关闭此面板。
  • 管理员现在可以更改 SQL 仓库的所有权。
  • 现在,可以通过单击“添加”>“筛选器”并选择用于筛选的查询和列,来筛选仪表板中的多个可视化效果。

2023 年 1 月 12 日

改进:

  • 仪表板上的可视化小组件标题现在默认设置为“可视化效果名称 - 查询名称”格式。
  • 向内联面板引用添加了 H3 地理空间函数。
  • 添加了 SQL 语法(例如 CREATE TABLEOVER)的内联引用。

修复:

  • 当 X 轴刻度设置为自动时,排序和反向切换现在可用。
  • 热度地图和数据透视表现在可以响应某些边缘情况。
  • 分类 Y 轴刻度线现在默认排序。
  • 执行浏览器刷新后,查询草稿不再丢失。

2022 年 12 月 8 日

  • Azure Databricks SQL 警报现在支持查询结果列(如 SUMCOUNTAVG)的聚合警报。
  • 在仪表板上创建新的小组件时,默认可视化效果标题现在为“VisualizationName - QueryName”。

2022 年 11 月 17 日

警报:

  • Chatworks、Mattermost 和 Google Hangouts Chat 不再是通知目标。

改进:

  • 检查百分比值时,y 轴现在将数字显示为百分比。
  • 用于禁用上传数据 UI 的工作区管理员设置现在适用于新的上传数据 UI。 此设置适用于数据科学与工程、Databricks 机器学习和 Databricks SQL 角色。

修复:

  • 修复了 Databricks SQL 警报中的一个问题:与 null 值比较时评估不正确。
  • 修复了数据透视表上的滚动条消失的问题。
  • 修复了架构浏览器无法调整溢出选项卡大小的问题。

2022 年 11 月 10 日

改进:

  • 现在可以创建同时处理多个查询的仪表板筛选器。 在“编辑仪表板”模式下,依次选择“添加”、“筛选器”、“新建仪表板筛选器”。
  • 自动完成现在支持 CREATE MATERIALIZED VIEW

解决方法:

  • 修复了滚动到一组仪表板分页结果的末尾时发送错误的问题。
  • 修复了从堆叠条形图切换到折线图时保留堆叠属性的问题。
  • 修复了重复的提取调用。

2022 年 11 月 3 日

改进:

  • 在 Databricks SQL 中请求访问权限时,默认权限现在是“可运行”。

修复:

  • 修复了使用查询和仪表板 API 按 created_at 排序时不返回正确排序顺序的问题。
  • 修复了包含 HTML 格式 URL 的列的列宽过大问题。
  • 修复了不突出显示 WHERE 关键字的问题。

2022 年 10 月 27 日

改进:

  • 将查询结果下载到 Excel 的行限制已从 64,000 行增加到 100,000 行。 CSV 和 TSV 下载限制保持不变(大约 1 GB 数据)。

  • 自动完成现在支持 LIST 语法、URL 和凭据。

  • 合并了“修复”建议面板并已将其现代化。

  • 为 Databricks SQL 引入了新的仓库类型 Databricks SQL Pro。 此仓库类型使 Databricks SQL 仓库能够使用工作流集成、查询联合、地理空间功能和预测性 IO。

修复:

  • 修复了编辑器中的警告横幅与全高度可视化效果重叠的问题。
  • 修复了移动表列时不保留表列宽的问题。
  • 修复了以下问题:如果从 SQL 编辑器添加可视化效果,则弹出通知中指向仪表板的链接会损坏。

2022 年 10 月 20 日

改进:

  • 现在可以在页脚中看到查询进度条,并在串形菜单中看到用于编辑可视化效果的操作。
  • 自动完成现在支持 Delta“按时间顺序查看”,并在定义外键时提供列自动完成。

解决方法:

  • 修复了快速连续在仪表板中添加多个可视化效果导致可视化效果不显示在仪表板上的问题。

2022 年 10 月 13 日

改进:

  • 现在,可以删除报告的错误消息。
  • 编辑器现在支持 COMMENT ON 指令。
  • 现在可以使用 Cmd+P 或 Ctr+P(适用于电脑)作为“热门搜索”的快捷方式。 使用 Cmd+I 或 Ctr+I(适用于电脑)作为“添加参数”的快捷方式。

2022 年 10 月 11 日

改进:

2022 年 10 月 6 日

改进:

  • EXTERNAL 现在是保留的表属性。 如果在属性中指定 EXTERNAL,则命令 CREATE TABLE ... TBLPROPERTIESALTER TABLE ... SET TBLPROPERTIES 将失败。
  • format_string(strfmt, obj, ...)printf(strfmt, obj, ...) 中的 strfmt 不再支持使用 0$ 作为第一个参数。 使用参数索引指示参数在参数列表中的位置时,第一个参数应由 1$ 引用。
  • 饼图段现在有一个细边框,用于区分不同的段。
  • 现在,可以使用 Cmd+I(适用于 Mac)或 Ctr+I(适用于电脑)作为“添加参数”的快捷方式。 使用 Cmd+P 或 Ctr+P(适用于电脑)作为“全局搜索”的快捷方式。
  • 针对正确或错误的查询错误消息,可以使用反馈按钮。
  • “修复我”建议现在以“快速修复”形式提供。

修复:

  • lpadrpad 函数现在可以正常使用 BINARY 字符串输入。 BINARY 字符串输入的 lpadrpad 的输出现在是 BINARY 字符串。
  • 修复了手动警报刷新无法正常运行的问题。
  • 回退了对自动计数器大小的更改,以修复格式设置问题。

2022 年 9 月 29 日

改进:

  • 现在,可以向这些资产的所有者请求对 Databricks SQL 查询、警报和仪表板的访问权限。
  • 现在,可以在“查询历史记录”页面上按查询持续时间和语句类型进行筛选。
    • 若要使用查询持续时间筛选器,请输入时间量并选择时间单位。 历史记录结果返回运行时间超过指定时间的查询。
    • 若要使用语句类型筛选器,请从下拉列表中选择语句类型。 历史记录结果返回包含该语句的查询。

修复:

  • 修复了并非所有受支持的 HTML 标记都在自定义警报模板中正常运行的问题。 所有标记均按文档提供。
  • 修复了“可视化效果”通知 toast 的问题。 例如,以前未显示双击以缩小可视化效果。
  • 修复了图表名称未反映交换图表轴的问题。

2022 年 9 月 22 日

改进:

  • 仪表板上显示多个计数器小组件时,相同大小的计数器小组件将具有相同的字体大小。
  • 更新了组合图表,确保使用双轴时只能在同一轴上使用相同的图表类型(例如折线图、条形图)。 系列别名也适用于轴。
  • 添加了对代理键和 LIST 操作的自动补全支持。

解决方法:

  • 修复了文本参数不接受 Null 作为有效值的问题。

2022 年 9 月 15 日

解决方法:

  • 修复了从 SQL 仓库列表页查看查询历史记录不起作用的问题。

2022 年 9 月 8 日

改进:

  • 在 DSE/SQL 主页中引入新的“开源集成”卡来显示开源集成选项,例如增量实时表和 dbt core。

解决方法:

  • 修复了参数下拉菜单被可视化效果选项卡遮挡的问题。

2022 年 9 月 1 日

改进:

  • 引入新的简化 UI 以添加参数和筛选器。 选择 并选择添加筛选器或参数。
  • 现在可以自动补全 SQL 令牌的括号,例如“OVER()”。

修复:

  • 修复了在全屏模式下查看仪表板时忽略调色板的问题。
  • 修复了快速键入然后使用“运行”快捷方式运行上一查询文本而不是新键入的查询文本的问题
  • 修复了使用键盘命令 ctrl+enter 运行查询会提交重复查询的问题。

2022 年 8 月 25 日

解决方法:

  • 修复了查询参数更改时仪表板筛选器未更新的问题。

2022 年 8 月 18 日

  • 对于 Databricks SQL,Unity Catalog(公共预览版)在预览通道中可用。 有关详细信息,请参阅什么是 Unity Catalog?

  • 文档:警报 API 文档已发布。

  • 可视化效果:用户现在可以设置日期筛选器的默认值。 每当在查询或仪表板上刷新筛选器时,都将应用默认值。

  • 修复:

    • 修复了当仪表板仍在重新加载时应用更改不起作用的问题。
    • 修复了查询未返回结果时列过窄的问题。

2022 年 8 月 11 日

改进:

  • 当用户刷新失败时,他们将收到电子邮件。 若要启用此类通知,请导航到管理控制台的“SQL 设置”选项卡。 在“失败电子邮件”下,选择想要接收失败通知的对象类型(查询、仪表板或警报)。 故障报告每小时发送一次。
  • 可视化效果
    • 介绍可视化效果和仪表板的新的新式调色板。 若要将仪表板更改为新的调色板,请转到仪表板,单击 -> ->,然后选择“Databricks 调色板”。 SQL 管理员还可以通过转到 -> -> ->并选择新的调色板,将新的调色板设置为工作区的默认选项。

修复:

  • 修复了如果已执行查询,则之前选择来应用筛选器将不起作用的问题。

2022 年 8 月 4 日

改进:

  • 现在在克隆仪表板时,有一个选项用于选择是否还应克隆查询。
  • 选项卡内容在浏览器选项卡之间同步。 查询的状态现在将在所有浏览器选项卡中同步。 这意味着,如果在浏览器选项卡 1 中处理 query1,然后切换到浏览器选项卡 2,将看到原始浏览器选项卡中的 query1 处于离开时的状态。

解决方法:

  • 饼图中空字符串的标签现在反映字符串为空,而不是值的索引。

2022 年 7 月 28 日

  • 警报
    • 自定义的警报电子邮件模板已更新,禁止某些可能带来安全风险的 HTML 标记。 不允许的 HTML 标记和属性会被自动清理。 例如,
    • 用户现在可以为其他用户订阅警报,而无需创建通知目标,这需要管理员权限。
  • 下载:用户现在可以从 Databricks SQL 以 CSV 和 TSV 格式下载最多 1GB 的结果数据,而以前最多可以下载 64,000 行。
  • 可视化效果
    • 现在可以直接在仪表板上编辑可视化效果。 在编辑模式下,单击 kebab 菜单,然后选择“编辑可视化效果”,开始编辑可视化效果。
    • 下载与利用聚合的可视化效果关联的结果时,也会聚合下载的结果。 下载的选项是从底部 kebab 移动到与选项卡关联的 kebab。下载的结果来自创建可视化效果的查询的最新执行。
  • SQL 编辑器:当浏览器内表显示的数据限制为 64,000 行时,结果表现在会显示一条消息。 TSV 和 CSV 下载仍最多为 1GB 的数据。
  • 查询筛选器:
    • 查询筛选器已更新为在客户端或服务器端动态运行以优化性能。 以前的查询筛选器(现为旧版)仅在客户端运行。 如果需要,用户仍可以使用带有 :: 语法的旧筛选器。
    • 更新后的筛选器更简单:用户只需单击“+添加筛选器”按钮,然后从下拉列表中选择一列。 以前,用户必须直接修改查询文本。
    • 突出显示相关值,以便更轻松地查看筛选器中的哪些选择将返回给定其他筛选器选择的结果。
  • 查询历史记录:查询历史记录中的查询详细信息现在会显示查询源,它是执行查询的源。

2022 年 7 月 21 日

  • 共享通知:每当与用户共享仪表板、查询或警报时,用户现在都会收到电子邮件通知。
  • 通过新的嵌入式编辑器工具包增强 SQL 编辑器体验
    • 实时语法错误突出显示(例如,错误的关键字、表不存在以及修复错误的建议)
    • 上下文帮助:悬停时(例如完整的表名和详细的函数面板)和内联执行错误消息(例如执行后突出显示有错误的行)
    • 建议智能排序(例如参数自动补全、排序公式和低干扰匹配)

2022 年 7 月 14 日

  • 除 CSV 文件外,现在还可使用 Create Table UI 上传 TSV 文件。
  • 每当与用户共享仪表板、查询或警报时,Databricks SQL 现在都会提供通过电子邮件通知用户的选项。
  • 可视化效果表中现在可以选择包含结果旁边显示的行号。
  • 为 Chloropleth 可视化效果选择地理区域时,现在会获取接受值的内联提示。

2022 年 6 月 23 日

  • SQL 终结点名称更改:Databricks 将 SQL 终结点更名为 SQL 仓库,因为它不仅仅是运行 SQL 命令的 API 入口点。 SQL 仓库是满足所有数据仓库需求的计算资源,是 Databricks 平台不可分割的一部分。 计算资源是在云中提供处理功能的基础结构资源。
  • 对于 Choropleth 可视化效果,可视化编辑器中的键列和目标字段选择已重命名为地理列和地理类型。 为便于理解而进行的重命名不会导致新的或现有的 Choropleth 出现任何行为更改。
  • 限制 1000 个查询这一选项已从 SQL 查询编辑器中的复选框移动到运行按钮中的复选框。
  • 查询历史记录表中的缓存查询现使用“缓存”标记进行标记。
  • 手动刷新仪表板会使用仪表板的仓库(如果可用),而不是每个查询的仓库。
  • 无论以查看者/所有者身份运行设置如何,刷新警报都始终使用警报的仓库。

2022 年 6 月 9 日

  • 将鼠标悬停在终结点选择器中时,完整的终结点名称将显示为工具提示。
  • 在 SQL 编辑器架构浏览器中进行筛选时,搜索结果中现在突出显示了搜索词。
  • SQL 编辑器中的“关闭所有”对话框现在显示未保存的查询列表。
  • 若要在 SQL 编辑器中重新打开最后一个关闭选项卡,请使用以下新的键盘快捷方式:<Cmd> + <Shift> + <Option> + T
  • 现在可以向组合图表添加数据标签。
  • 可视化聚合操作的列表现在包括方差和标准偏差。

2022 年 5 月 26 日

创作改进:

  • 现在可以在创作可视化效果时绕过聚合。 在查询已包含聚合时,此功能特别有用。 例如,如果查询是 SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio,则图表编辑器以前需要明确指定另一个聚合层。
  • 创作仪表板时,现在可以:
    • 重复文本框小组件
    • 扩大编辑文本框面板的大小
  • 创作可视化效果时,错误列的默认聚合是标准偏差。

修复:

  • 可视化效果的编辑操作仅在仪表板处于编辑模式时可用。 编辑操作不再可用作视图模式操作。
  • 创建新查询时,该查询将在焦点选项卡右侧的选项卡中打开,而不是在列表末尾打开。
  • 打开查询模式显示哪个查询已打开,并提供将焦点切换到该查询选项卡的选项。
  • Sankey 和 Sunburst 图表不再将 0 视为 null。

2022 年 5 月 19 日

  • 已修复问题:当你在特定可视化效果选项卡上打开 SQL 编辑器的焦点并将链接共享给其他用户后,该用户在单击共享链接时将在 SQL 编辑器中具有相同的焦点。
  • 改进:
    • Microsoft Teams 现在是受支持的通知目标。
    • 日期范围、日期和时间范围以及日期和时间范围(以秒为单位)参数现在支持用于指定一周开始日期的选项(默认为星期日)。

2022 年 5 月 12 日

  • 可视化效果现在直接支持 UI 中的时间分箱。 现在,可以通过更改下拉列表值(而不是在查询文本本身中添加和修改 date_trunc() 函数),在每年、每月、每日或每小时的数据箱之间轻松切换。
  • 现在,默认情况下仪表板具有颜色一致性。 如果多个图表中具有相同的系列,则该系列在所有图表中始终具有相同的颜色 - 无需任何手动配置。

2022 年 5 月 3 日

  • 与用户或组共享仪表板时,现在还可以共享由可视化效果使用的所有上游查询和参数。
    • 如果无权共享一个或多个上游查询,将会收到一条警告消息,指出并非所有查询都可以共享。
    • 共享仪表板时授予的权限不会替代、否定或扩展上游查询上的现有权限。 例如,如果用户或组在共享仪表板上具有“可以所有者身份运行”权限,但仅对上游查询具有“以查看者身份运行”权限,则对上游查询的有效权限将为“以查看者身份运行”。

2022 年 4 月 27 日

  • 现在,当按需导出到 PDF 以及生成计划的订阅电子邮件时,仪表板布局将会保留。

2022 年 3 月 17 日

  • 图表包括新的组合可视化选项。 这样就可以创建包含条形和线的图表。

2022 年 3 月 10 日

  • Unity Catalog(预览版)允许你在帐户级别管理治理和访问数据。 可以集中管理元存储和数据权限,并且可以将元存储分配给帐户中的多个工作区。 你可以使用 Databricks SQL 目录资源管理器或 SQL 编辑器来管理 Unity Catalog 数据和对象并与之交互,并且可以在仪表板和可视化对象中使用 Unity Catalog 数据。 请参阅什么是 Unity Catalog?

注意

Unity Catalog 要求 SQL 终结点使用版本 2022.11,它在预览版通道中。

  • Delta Sharing(预览版)允许你与组织外部的收件人共享只读数据。 Databricks SQL 支持查询 Delta Sharing 数据并将其用于可视化和仪表板。
  • 每次手动或按计划刷新仪表板时,都会刷新仪表板和上游中的所有查询(包括参数使用的查询)。 刷新单个可视化效果时,将刷新所有上游查询(包括参数使用的查询)。

2022 年 3 月 3 日

  • 组群可视化已更新,以便组群从最小值和最大值插入,而不是从 0 和 100 插值。 现在,可以很轻松地在实际可用数据范围内区分组群。 以前,如果所有数字都靠近在一起,则这些数字将使用相同的颜色。 现在,靠近的数字更有可能使用不同的颜色,因为组群从最大到最小范围划分以形成每个系列。
  • 可以更轻松地查看仪表板订阅计划是处于活动状态还是已暂停状态。 单击“订阅”时,如果仪表板订阅计划已暂停,则会显示消息“此计划已暂停”。 仪表板订阅计划暂停后,可以订阅或取消订阅仪表板,但不会发送计划的快照,也不会更新仪表板的可视化效果。
  • 查看“查询历史记录”时,现在可以按持续时间对列表进行排序。 默认情况下,查询按开始时间排序。

2022 年 2 月 24 日

  • 在目录资源管理器中,现在可以查看用户或组对表、视图、架构或目录拥有的权限。 单击对象,然后单击“权限”并使用新的筛选器框。

2022 年 2 月 17 日

  • 可视化效果变得更加智能! 当查询产生一列或两列时,系统将自动选择建议的可视化类型。
  • 现在,你可以创建直方图,以可视化数据集中每个值出现的频率,并了解数据集的值是围绕少量范围聚类还是更分散。
  • 在“查询历史记录”和“查询配置文件”中,现在可以将查询字符串和失败查询的错误消息扩展到全角。 这样可以更轻松地分析查询计划并对失败的查询进行故障排除。
  • 在条形图、线图、面积图、饼图和热图可视化效果中,现在可以直接在可视化效果配置 UI 中执行聚合,无需修改查询本身。 利用这些新功能时,聚合将在整个数据集上执行,而不是仅限于前 64000 行。 编辑在此版本之前创建的可视化效果时,你将看到一条消息“This visualization uses an old configuration. New visualizations support aggregating data directly within the editor.”,如果要利用新功能,则必须重新创建可视化效果。 请参阅在可视化效果中启用聚合

2022 年 2 月 10 日

  • 现在,你可以为仪表板设置自定义调色板。 该仪表板中显示的所有可视化效果都将使用指定的调色板。 设置自定义选项板不会影响可视化效果在其他仪表板或 SQL 编辑器中的显示方式。

    你可以为调色板指定十六进制值或从另一个调色板导入颜色,无论是由 Databricks 提供还是由工作区管理员创建。

    将调色板应用于仪表板时,默认情况下,该仪表板中显示的所有可视化效果都将使用选定的调色板,即使你在创建可视化效果时配置了自定义颜色也是如此。 若要覆盖此行为,请参阅自定义可视化效果的颜色

  • 工作区管理员现在可以使用管理控制台创建自定义调色板。 创建自定义调色板后,可在新仪表板和现有仪表板中使用自定义调色板。 若要对仪表板使用自定义调色板或对其进行自定义,可以编辑仪表板设置。

  • 当你从 SQL 垂直省略号 菜单向仪表板添加使用参数的可视化效果时,可视化效果现在默认使用仪表板级参数。 这与你在仪表板中使用“添加可视化效果”按钮添加小组件时的行为一致。
  • 查看查询历史并按参数组合筛选列表时,现在会显示匹配查询的数量。
  • 在可视化效果中,修复了无法将 Y 轴范围调整为特定值的问题。

2022 年 2 月 3 日

  • 标签式 SQL 编辑器现在默认为所有用户启用。 有关更多信息或禁用标签式编辑器,请参阅编辑多个查询

  • 仪表板电子邮件订阅者现在会收到一个内联映像,其中显示仪表板快照,而不是附件。 快照的 PDF 将附加到电子邮件中。

  • 现在,你可以通过为 SQL 终节点配置现成虚拟机实例策略来平衡可靠性和成本。 现成虚拟机实例策略确定工作器是仅使用按需实例还是同时使用按需实例和现成虚拟机实例。 “成本优化”(默认)主要使用现成虚拟机实例和一个按需实例。 “可靠性优化”仅使用按需实例。 以前,SQL 终结点始终采用按需实例。 要保留此行为,请将现成虚拟机实例策略设置为“可靠性优化”。 请参阅配置现成实例策略

2022 年 1 月 27 日

  • 改进了查看、共享和导入查询配置文件的方式。 请参阅查询配置文件

  • “详细信息”可视化效果现在允许你重命名列,就像“表”可视化效果一样。

  • 现在可以通过中键单击 SQL 编辑器中的标签页来关闭标签页。

  • 以下键盘快捷键已添加到标签式 SQL 编辑器中:

    • 关闭所有标签页:Cmd+Option+Shift+A (macOS) / Ctrl+Option+Shift+A (Windows)
    • 关闭其他标签页:Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

    这些键盘快捷键提供了右键单击选项卡以访问相同操作的替代方法。 若要查看所有键盘快捷方式,请在选项卡式 SQL 编辑器中单击 键盘图标“键盘”图标。

2022 年 1 月 20 日

  • 表中整数和浮点型数据类型的默认格式已更新为不包含逗号。 这意味着默认情况下,10002343 等值将不再有逗号。 若要设置这些类型的格式以使用逗号显示,请单击“编辑可视化效果”,展开列的区域,然后修改格式以包含逗号。
  • 为了更好地与浏览器呈现限制保持一致,可视化效果现在最多显示 10000 个数据点。 例如,散点图最多显示 10000 个数据点。 如果数据点的数量受到限制,则会显示警告。

2022 年 1 月 13 日

  • 修复了 SQL 编辑器中的“保存”按钮有时被禁用的问题。 “保存”按钮现在始终处于启用状态,并且在检测到未保存的更改时会包含一个星号 (*)。

2021 年 12 月 15 日

  • Databricks SQL 现已正式发布。 这标志着重要里程碑:提供第一个将数据、AI 和 BI 工作负载统一在一个地方的 lakehouse 平台。 借助 GA,Databricks 将能够为任务关键型工作负载提供最高级别的稳定性、支持和企业就绪性。 请阅读 GA 公告博客以了解更多信息。
  • 警报现在是独立于查询进行计划的。 创建新警报并创建查询时,系统还会提示你为警报创建计划。 如果你有现有警报,则我们已从原始查询复制了计划。 此更改还允许你为“以所有者身份运行”和“以查看者身份运行”查询设置警报。 “以所有者身份运行”查询使用查询所有者的凭据按指定的警报计划运行。 “以查看者身份运行”查询使用警报创建者的凭据在指定的警报计划上运行。 请参阅什么是 Databricks SQL 警报?计划查询
  • 现在,你可以在 SQL 编辑器仪表板中对参数重新排序。
  • 有关创建热图可视化效果的文档已扩展。 请参阅热度地图选项

2021 年 12 月 9 日

  • 创建表可视化效果时,现在可以将列的字体颜色设置为静态值或基于列的字段值的值范围。 字面值将与阈值进行比较。 例如,要对值超过 500000 的结果进行着色,请创建阈值 > 500000,而不是 > 500,000。 请参阅有条件地设置列颜色格式
  • 通过标签式 SQL 编辑器架构浏览器中的图标,可以区分表和视图。

2021 年 12 月 1 日

  • 现在可以在工作区级别应用 SQL 配置参数。 这些参数会自动应用于工作区中的所有现有和新的 SQL 终结点。 请参阅 SQL 配置参数

2021 年 11 月 18 日

  • 查看查询的历史记录时,现在可以在运行查询的服务主体上筛选查询。 请参阅查看查询历史记录

  • 你现在可以使用侧边栏快捷方式打开 SQL 编辑器。 若要打开 SQL 编辑器,请单击“SQL 编辑器”。

  • 如果你有权创建数据科学与工程群集,现在可以通过单击边栏中的“创建”并单击“SQL 终结点”来创建 SQL 终结点。

  • 管理员现在可以通过 UI 将查询、仪表板或警报的所有权转让给其他用户。 请参阅:

2021 年 11 月 4 日

  • 地图 (Choropleth) 可视化中,图例中颜色的最大梯度步数已从 11 增加到 20。 默认值为 5 个梯度步,包括“最小颜色”和“最大颜色” 。
  • 选项卡式 SQL 编辑器现在支持批量选项卡管理。 如果右键单击某个选项卡,将看到“关闭其他”、“关闭左侧”、“关闭右侧”和“关闭所有”选项。 请注意,如果右键单击第一个或最后一个选项卡,则不会看到“关闭左侧”或“关闭右侧”选项。

2021 年的 10 月 28 日

  • 在目录资源管理器中查看表时,可使用两个选项来简化与表的交互:
    • 单击“创建”“查询”创建一个选择所有列并返回前 1000 行的查询。
    • 单击“创建”“快速仪表板”打开一个配置页面,可在其中选择感兴趣的列以及创建仪表板和支持查询,这些查询使用这些列提供一些基本信息,并展示仪表板级别的参数和其他功能。

2021 年 10 月 19 日

  • 选项卡式编辑器中现在提供了新的键盘快捷方式:
    • 打开新选项卡:
      • Windows: Cmd+Alt+T
      • Mac:Cmd+Option+T
    • 关闭当前选项卡
      • Windows: Cmd+Alt+W
      • Mac:Cmd+Option+W
    • 打开查询对话框
      • Windows: Cmd+Alt+O
      • Mac:Cmd+Option+O

2021 年 9 月 23 日

  • 你现在可以通过克隆现有仪表板来创建新仪表板,前提是对仪表板及所有上游查询具有“可运行”、“可编辑”和“可管理”权限。 请参阅克隆仪表板
  • 现在可以在包含多个 Y 轴列的可视化效果中使用 GROUP BY。 请参阅散点图
  • 现在可以使用 {{ @@yPercent}} 在非规范化堆积条形图中设置数据标签的格式。 请参阅条形图
  • 如果使用 SAML 身份验证并且 SAML 凭据将在几分钟内过期,则现在在执行查询或刷新仪表板之前,系统会主动提示重新登录。 这有助于防止操作因凭据在查询执行期间过期而中断。

2021 年 9 月 20 日

  • 现在可以使用权限 REST API 转让仪表板、查询和警报的所有权。 查看共享查询

2021 年 9 月 16 日

  • 在查询结果中,BIGINT 结果大于 9007199254740991 时,现在会被串行化为字符串。 这修复了 BIGINT 结果在查询结果中可能被截断的问题。 其他整数结果仍序列化为数字。 轴标签和工具提示上的数字格式设置不适用于序列化为字符串的 BIGINT 结果。 有关 Databricks SQL 中的数据类型的信息,请参阅 BIGINT 类型

2021 年 9 月 7 日

Databricks 将在一周的时间内推出后续更改。 直到 9 月 7 日之后,你的工作区才可能启用这些更改。

  • Databricks SQL 现提供公共预览版,并对新工作区中的所有用户启用。

    注意

    如果你的工作区在公共预览版期间(即 2021 年 9 月 7 日开始的一周之前)启用了 Databricks SQL,用户将保留在该日期之前分配的权利,除非你对其进行更改。 换句话说,如果用户在公共预览版期间没有访问 Databricks SQL 的权限,那么除非管理员授予他们权限,否则他们现在不会拥有权限。

  • 管理员可通过向用户或组分配“Databricks SQL 访问权限”权利(API 中的 )来管理哪些用户有权访问 Databricks SQL。 新用户默认具有此权利。

    管理员可限制用户或组仅访问 Databricks SQL,并且可通过从用户或组中删除“工作区访问权限”权利(API 中的 workspace-access)来防止他们访问数据科学与工程或 Databricks 机器学习。 新用户默认具有此权利。

    重要

    若要登录并访问 Azure Databricks,用户必须具有“Databricks SQL 访问权限”或“工作区访问权限”,或两者兼有 。

    有关详细信息,请参阅步骤 2:授予对 Databricks SQL 的访问权限

  • 一个名为 Starter Endpoint 的小型经典 SQL 端点已在所有工作区预配,使你可以立即开始创建仪表板、可视化效果和查询。 为了处理更复杂的工作负载,可轻松地增大其大小(以减少延迟)或增加底层群集的数量(以处理更多并发用户)。 为了管理成本,Starter Endpoint 被配置为在空闲 120 分钟后终止。

  • 为了帮助你快速启动和运行,管理员和用户可以使用全新的引导式加入体验。 默认情况下,加入面板可见,你始终可以在边栏中查看剩余的加入任务数量。 单击“剩余任务”以重新打开加入面板。

  • 可通过名为 SAMPLES 的只读目录中的两个丰富数据集快速开始使用Databricks SQL,该目录可在所有工作区中使用。 在了解 Databricks SQL 时,可使用这些架构来创建查询、可视化效果和仪表板。 无需配置,并且所有用户都有权访问这些架构。

    • nyctaxi 架构包含 trips 表中的出租车行程数据。
    • tpch 架构包含下表中的零售收入和供应链数据:
      • customer
      • lineitem
      • nation
      • orders
      • part
      • partsupp
      • region
      • supplier

    单击加入面板中的“运行第一个查询”,生成 nyctaxi 架构的新查询。

  • 若要了解如何在 Databricks SQL 中对数据进行可视化,而无需进行任何配置,可以从仪表板示例库中导入仪表板。 这些仪表板由 SAMPLES 目录中的数据集提供支持。

    若要查看仪表板示例库,请单击加入面板中的“导入示例仪表板”。

  • 你现在可以使用 CREATE FUNCTIONDROP FUNCTION 命令创建和删除本机 SQL 函数。

2021 年 9 月 2 日

  • 对仪表板具有“可编辑”权限的用户现在可管理仪表板的刷新计划和订阅列表。 之前,需要具备“可管理”权限。 有关详细信息,请参阅自动刷新仪表板

  • 默认情况下,可视化效果不再根据返回的结果数动态重设大小,而是无论结果数如何,都维持相同的高度。 若要返回到之前的行为并配置可视化效果来动态重设大小,请在仪表板的可视化效果设置中启用“动态调整面板高度”。 有关详细信息,请参阅表选项

  • 如果你有权访问同一帐户中的多个工作区,则可在 Databricks SQL 中切换工作区。 在 Azure Databricks 工作的左下角,单击 “帐户”图标,然后选择一个工作区来切换到它。

2021 年 8 月 12 日

2021 年 8 月 5 日

  • 改进了 EXPLAIN 结果格式
    • Explain 结果更易于读取
    • 已格式化为等宽,无换行

2021 年 7 月 29 日

  • 通过在查询编辑器中支持多个选项卡,同时处理多个查询变得更容易。 若要使用选项卡式编辑器,请参阅编辑多个查询

2021 年 7 月 8 日

  • 仪表板中的可视化小组件现提供标题和说明,便于你针对仪表板本身定制在多个仪表板中使用的可视化标题和说明。
  • 已更新边栏,改进了其可见性和导航:
    • “仓库”现为“SQL 终结点”,“历史记录”已重命名为“查询历史记录”。
    • 帐户设置(旧称为“用户”)已移至 SQL 帐户图标“帐户”。 选择“帐户”时,可更改 Azure Databricks 工作区并注销。
    • 用户设置已移至 “用户设置”图标“设置”,并已被拆分为“用户设置”和“SQL 管理控制台”。 SQL 管理控制台仅对管理员可见。
    • 帮助图标更改为了 帮助图标“帮助”。

2021 年 7 月 1 日

  • 借助新的目录资源管理器,可以轻松浏览和管理对数据库和表的权限。 用户可以查看架构详细信息,预览示例数据,还可查看表详细信息和属性。 管理员可以查看和更改数据对象所有者,数据对象所有者可以授予和撤销权限。 有关详细信息,请参阅什么是目录资源管理器?
  • 水平图表中的 Y 轴已更新,以反映与表中相同的顺序。 如果此前选择了反向排序,可以使用 Y 轴上选项卡的“反转顺序”开关来反转新排序。

2021 年 6 月 23 日

  • 轻松配置 SQL 终结点中的服务主体。 现有一个控件可帮助你在全局 SQL 终结点设置中配置服务主体。 请参阅配置服务主体
  • 现在支持临时视图。

2021 年 6 月 17 日

  • 对于新创建的 SQL 终结点(包括 UI 和 REST API),现在默认打开 Databricks 的新矢量化执行引擎 Photon。 Photon 透明地加速
    • 写入 Parquet 和 Delta 表。
    • 许多 SQL 查询。 请参阅限制
  • 使用 CREATE GROUPDROP GROUPALTER GROUPSHOW GROUPSSHOW USERS 命令轻松管理用户和组。 有关详细信息,请参阅 Security 语句Show 语句
  • 对于具有超过 100 个表的架构,查询编辑器架构浏览器更贴合,也更快捷。 在此类架构上,架构浏览器不会自动加载所有列;仍照常显示表列表,但仅在单击表时加载列。 此更改会影响查询编辑器中的查询自动完成,因为它依赖于此信息来显示建议。 在展开表并加载其列之前,这些建议不可用。

2021 年 6 月 3 日

  • 新启用的 Azure Databricks 工作区的管理员现在默认接收 Databricks SQL 权利,不再需要使用管理控制台向其自己授予 Databricks SQL 访问权限。
  • Photon 现在以公共预览版提供,默认为新的 SQL 终结点启用。
  • 多群集负载均衡现在以公共预览版提供。
  • 现在,可以使用“可编辑”权限实现与组织的其他成员协作处理仪表板和查询。 请参阅《共享 Databricks SQL 仪表板》和《共享查询》。

2021 年 5 月 26 日

  • SQL 分析已重命名为 Databricks SQL。 此更改具有以下面向客户的影响:
    • Web UI 中的引用已更新。

    • 已重命名授予 Databricks SQL 访问权限的权利:

      • UI:Databricks SQL 访问权限(以前称为 SQL Analytics 访问权限)
      • SCIM API:(以前称为 sql-analytics-access

      具有旧权利的用户、组和服务主体已迁移到新权利。

    • 与 Databricks SQL 相关的审核日志事件标记已更改:

      • Databricks 事件SQL前缀现为 databrickssql
      • changeSqlAnalyticsAcl 现为 changeDatabricksSqlAcl
  • 仪表板更新
    • 仪表板导出文件名已更新为仪表板的名称 + 时间戳,而不是 UUID。
    • 导出记录限制已从 22k 提升至 64k。

2021 年 5 月 20 日

  • 现在,可以使用 Azure Key Vault 中你自己的密钥来加密存储在 Azure Databricks 中的 SQL 查询和 Databricks 查询历史记录。 如果已配置自己的工作区密钥来加密托管服务的数据(笔记本和机密),则无需执行进一步操作。 用于托管服务的客户管理的密钥现在还加密 Databricks SQL 查询和查询历史记录。 请参阅托管服务的客户管理的密钥。 此更改仅影响存储在其他位置的新数据。 今天之前存储的 Databricks SQL 查询和查询历史记录不一定使用此密钥进行加密。

    Databricks SQL 查询结果存储在根 Azure Blob 存储实例中,该实例由 Azure Databricks 在工作区设置过程中创建,不由你的托管服务密钥加密。 但是,你可以使用自己的密钥来加密它们。 请参阅为 DBFS 根启用客户管理的密钥

    此功能在高级计划中提供。

  • “过去的执行”选项卡现在显示相对时间。

2021 年 5 月 13 日

  • Databricks SQL 不再尝试猜测列类型。 以前,即使采用 xxxx-yy-dd 格式的列是标识代码,系统也将它当做日期处理。 而现在,系统不再将此列自动看做是日期。 如果需要,必须在查询中指定它。 此更改可能导致某些依赖先前行为的可视化效果失效。 在此版本中,可通过更改 用户设置图标>“设置”>“向后兼容性”选项,返回到之前的行为。 在未来版本中,我们将删除此功能。

  • 查询编辑器现在有一个查询进度指示器。 状态更改现显示在不断更新的进度栏中。

    进度栏

2021 年 5 月 6 日

  • 现可以 PDF 格式下载仪表板的内容。 请查看以 PDF 格式下载
  • 管理员用户现可查看对所有查询和仪表板的访问权限。 在此视图中,管理员可查看和删除任何查询或仪表板。 但是,如果查询或仪表板未与管理员共享,则该管理员无法编辑它们。请查看查询管理员视图仪表板管理员视图
  • 现可对所有帐户使用多租户负载均衡增加终结点并发。 可创建在指定的最小群集计数和最大群集计数之间自动缩放的终结点。 负载过多的终结点将纵向扩展,负载不足的终结点将纵向缩减。

2021 年 4 月 29 日

2021 年 4 月 22 日

  • 修复了因内部错误似乎删除了终结点而导致其无法访问的问题。

2021 年 4 月 16 日

Databricks SQL 保持了与 Apache Spark SQL 语义的兼容性。 此版本更新了语义以匹配 Apache Spark 3.1 的语义。 之前的 Databricks SQL 语义与 Apache Spark 3.0 的语义匹配。

  • 统计聚合函数(包括 stdstddevstddev_sampvariancevar_sampskewnesskurtosiscovar_sampcorr)在表达式求值期间发生 DivideByZero 时(例如,stddev_samp 应用于单个元素集时)会返回 NULL 而不是 Double.NaN。 在此版本之前,会返回 Double.NaN
  • grouping_id() 返回长值。 在此版本之前,此函数返回 int 值。
  • 查询计划解释结果现已设置格式。
  • 如果指定的日期/时间模式无效,from_unixtimeunix_timestampto_unix_timestampto_timestampto_date 将失败。 在此版本之前,会返回 NULL
  • 如果 Parquet、ORC、Avro 和 JSON 数据源在顶级列以及嵌套结构中检测到重复名称,会引发异常 org.apache.spark.sql.AnalysisException:“在读取的数据架构中发现重复列。”
  • 在将结构和映射强制转换为字符串时,会用 {} 括号将它们括起来。 例如,show() 操作和 CAST 表达式会使用此类括号。在此版本之前,是使用 d 括号来实现此用途。
  • 在将结构、数组和映射的 NULL 元素强制转换为字符串时,会将其转换为“null”。 在此版本之前,会将 NULL 元素转换为空字符串。
  • 对 decimal 类型列的溢出求和会返回 null。 在此版本之前,在这种情况下,对 decimal 类型的列求和可能会返回 null 或不正确的结果,甚至会在运行时失败(具体取决于实际的查询计划执行情况)。
  • 对于不完整的间隔文本(例如无效的 INTERVAL '1'INTERVAL '1 DAY 2'),将返回 IllegalArgumentException。 在此版本之前,这些文本会生成 Null。
  • 如果时间戳早于 1900-01-01 00:00:00Z 且加载(保存)为 INT96 类型,则从和向 Parquet 文件加载和保存时间戳将失败。 在此版本之前,这些操作不会失败,但可能会因为变基而导致输入的时间戳在公历和前公历之间切换。
  • schema_of_jsonschema_of_csv 函数以 SQL 格式返回架构,其中字段名称会用引号引起来。 在此版本之前,函数会返回一个目录字符串,其中字段不带引号并采用小写形式。
  • 表架构中支持 CHARCHARACTERVARCHAR 类型。 表扫描和插入遵循 char/varchar 语义。 如果将 char/varchar 用于表架构以外的地方,会引发异常(CAST 是一种异常,会直接将 char/varchar 视为类似于之前的字符串)。
  • 对于来自 Hive 外部目录的表,将引发以下异常:
    • 如果已存在新分区,ALTER TABLE .. ADD PARTITION 会引发 PartitionsAlreadyExistException
    • 如果不存在现有分区,ALTER TABLE .. DROP PARTITION 会引发 NoSuchPartitionsException

2021 年 4 月 13 日

  • 使用 SQL 终结点排队提高了查询吞吐量。 现在,当正在运行的查询已使 SQL 终结点达到饱和时,提交到该终结点的查询会排队。 这使终结点不因请求过载,从而提高查询吞吐量。 可在终结点监视屏幕中查看改进后的性能。

2021 年 4 月 1 日

  • 在查询历史记录中快速查找查询的编译、执行和结果提取所花费的时间。 请参阅查询配置文件。 之前,只能单击查询,再打开“执行详细信息”选项卡来查看此信息。
  • SQL 终结点不再扩展到超出指定的最大群集数。 分配给 SQL 终结点的所有群集都将 24 小时后被回收,这使得有短暂的时间存在一个额外的群集。

2021 年 3 月 18 日

  • 查询编辑器中的“自动完成”功能现支持 Databricks SQL 语法,并可感知上下文和别名。 请参阅创建查询
  • 当会话在服务器上超时后,JDBC 和 ODBC 请求不再失败并显示“会话无效”错误。 如果会话超时,BI 客户端现可无缝恢复。

2021 年 3 月 11 日

  • 为 Databricks SQL 功能新启用的工作区中的管理员和用户不再自动有权访问 Databricks SQL 功能。 若要实现对 Databricks SQL 功能的访问,管理员必须:
    1. 转到管理设置页
    2. 单击“用户” 选项卡。
    3. 在其帐户所在行中,单击“Databricks SQL 访问权限”复选框。
    4. 单击“确认” 。
    5. 重复步骤 3 和 4,向用户授予访问 Databricks SQL 功能的权限,或者按照步骤 2:授予对 Databricks SQL 的访问权限中的说明向组授予访问权限。
  • 只需在侧栏顶部选择 新建图标“新建”>“[查询 | 仪表板| 警报]”,即可轻松创建查询、仪表板和警报。
  • 查询编辑器现会保存草稿,且你可还原到已保存的查询。 请参阅在 SQL 编辑器中编写查询和浏览数据
  • 你无法再创建外部数据源。
  • SQL 终结点监视图表的可靠性得到了提高。 该图表不再间歇性显示误报的错误消息。

2021 年 3 月 4 日

  • 查询、仪表板和警报 API 文档现已发布。 请参阅 Databricks REST API 参考
  • 现在会始终执行计划的仪表板刷新。 该刷新在 Web 应用中执行,因此无需在浏览器中保持仪表板打开。 请参阅自动刷新仪表板
  • 使用 SQL 仓库 API 创建的新 SQL 终结点现在启用了“自动停止”,并设置了 2 小时的默认超时。
  • Tableau Online 用户现在可以连接到 SQL 终结点。 请参阅新的 Tableau Online 快速入门

2021 年 2 月 26 日

用于 Azure Databricks 的新 Power BI 连接器在 2020 年 9 月发布了公开预览版,现已推出 GA 版。 提供以下功能:

  • 简单的连接配置:新的 Power BI Azure Databricks 连接器已集成到 Power BI 中,你只需要单击几下鼠标,即可使用简单的对话框对其进行配置。
  • 基于 Microsoft Entra ID(以前称为 Azure Active Directory)凭据进行身份验证,管理员无需再配置 PAT 令牌。
  • 由于新的 Azure Databricks ODBC 驱动程序提供了显著的性能改进,因此导入操作和优化的元数据调用操作速度更快。
  • 通过 Power BI 访问 Azure Databricks 数据时,将遵守 Azure Databricks 表访问控制以及与 Microsoft Entra ID(以前称为 Azure Active Directory)标识关联的 Azure 存储帐户权限。

有关详细信息,请参阅将 Power BI 连接到 Azure Databricks

2021 年 2 月 25 日

  • 在 SQL 终结点上设置权限的速度现在更快。 创建新 SQL 终结点后需执行此步骤,编辑现有终结点时也可轻松执行此步骤。 请参阅创建 SQL 仓库SQL 仓库访问控制
  • 若要重复使用可视化效果设置,现在可以复制可视化效果。 请参阅克隆可视化效果
  • 查询结果存储在你的帐户中,而不是 Azure Databricks 帐户中。
  • 若要通过列出对象的所有定义权限来防止信息泄露,必须具有以下身份才能运行 SHOW GRANTS [<user>] <object>
    • Databricks SQL 管理员或 <object> 的所有者。
    • [<user>] 中指定的用户。

2021 年 1 月 7 日

  • 为了减少对空闲终结点的支出,新的 SQL 终结点现已启用“自动停止”,默认超时为 2 小时。 达到超时值后,终结点将停止。 你可随时编辑超时期限或禁用“自动停止”。
  • 除了 TEXT 类型的查询参数,将不再向查询参数添加引号。 如果已使用 Dropdown ListQuery Based Dropdown List 或任意 Date 类型的查询参数,则必须添加引号才能运行查询。 例如,如果查询是 SELECT {{ d }},则现在此查询必须为 SELECT '{{ d }}'

2020 年 11 月 18 日

Databricks 很高兴地推出 Databricks SQL 公共预览版(一个直观的环境,可用于运行临时查询和基于数据湖中存储的数据创建仪表板)。 Databricks SQL 让组织能够运行多云 lakehouse 体系结构,该体系结构可提供数据仓库性能,且具有 Data Lake 经济性。 Databricks SQL:

  • 与当前使用的 BI 工具(例如 Tableau 和 Microsoft Power BI)集成,查询数据湖中最完整和最新的数据。
  • 使用 SQL 原生接口对现有 BI 工具进行补充,该接口支持数据分析师和数据科学家直接在 Azure Databricks 中查询数据湖数据。
  • 支持通过丰富的可视化效果和拖放式仪表板共享查询见解,以及自动在重要数据发生更改时发出警报。
  • 使用创建 SQL 仓库为数据湖引入可靠性、质量、缩放、安全性和性能,以便使用最新和最完整的数据来运行传统的分析工作负荷。
  • 引入了 USAGE 特权,以简化数据访问管理。 为了使用架构中的对象,除了执行该操作所需的所有特权以外,还必须获得该架构的 USAGE 特权。 可以将 USAGE 特权授予架构或目录。 对于已使用表访问控制的工作区,USAGE 特权会自动授予给根 CATALOG 上的用户组。 有关详细信息,请参阅 Hive 元存储特权和安全对象(旧版)

有关详细信息,请参阅什么是 Azure Databricks 上的数据仓库?

修复的问题

  • SQL 编辑器。 在查询选项卡之间切换时,SQL 编辑器现在将保留所选文本和滚动位置。
  • SQL 编辑器。 如果在 SQL 编辑器中针对某个查询单击“运行”,然后导航到另一个页面并在查询仍在执行时返回,则编辑器将显示正确的查询状态。 如果查询在你位于另一个页面时完成,则在返回到 SQL 编辑器页面时,查询结果将可用。
  • 现在可以使用 MySQL 8.0 作为外部元存储。
  • Delta 表上的 DESCRIBE DETAIL 命令不再失败并产生 java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
  • 读取具有 INT96 时间戳的 Parquet 文件不再失败。
  • 用户具有针对查询的“可运行”权限并运行该查询时,如果该查询是由另一个用户创建的,则查询历史记录会将该查询的运行者显示为用户。
  • 呈现图表时,现在忽略 Null 值,从而提高图表的可用性。 例如,以前,存在 null 值时,条形图中的条形看起来非常小。 现在,轴仅基于非 null 值进行设置。

已知问题

  • 从多群集负载均衡 SQL 终结点中的 Delta Lake 以外的数据源中读取的内容可能不一致。
  • 在 Databricks SQL 中访问的 Delta 表将其架构和表属性上传到配置的元存储。 如果使用的是外部元存储,则可以在元存储中查看 Delta Lake 信息。 Delta Lake 会尽最大努力使这些信息保持最新状态。 也可使用 DESCRIBE <table> 命令来确保元存储中的信息已更新。
  • Databricks SQL 不支持将“GMT+8”等区域偏移作为会话时区。 解决方法是改用基于区域的时区,例如“Etc/GMT+8”。 有关设置时区的详细信息,请参阅 SET TIME ZONE

常见问题解答 (FAQ)

Databricks SQL 工作负载如何计费?

Databricks SQL 工作负载按标准作业计算 SKU 收费。

SQL 终结点在何处运行?

与 Azure Databricks 群集一样,SQL 终结点也要在 Azure 帐户中进行创建和管理。 SQL 终结点在你的帐户中自动管理 SQL 优化的群集,并根据最终用户需求进行缩放。

能否从“数据科学与工程”工作区 SQL 笔记本使用 SQL 终结点?

错误。 可以从 Databricks SQL 查询BI 工具和其他 JDBC 和 ODBC 客户端使用 SQL 终结点。

我已使用云提供商凭据授予了对数据的访问权限。 为什么无法在 Databricks SQL 中访问此数据?

在 Databricks SQL 中,对数据的所有访问都受限于数据访问控制,管理员或数据所有者必须首先授予你适当的权限