2024 年 1 月

这些功能和 Azure Databricks 平台的改进已于 2024 年 1 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上 Azure Databricks 服务的演进历史供参考,这些内容可能不适合 Azure 中国云。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

原生 XML 文件格式支持(公共预览版)

2024 年 1 月 31 日

原生 XML 文件格式支持目前以公共预览版提供。 XML 文件格式支持启用对 XML 数据的引入、查询和分析,以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型,支持 SQL 表达式(例如 from_xml)并生成 XML 文档。 它不需要使用外部 jar,可与自动加载程序、read_filesCOPY INTO 和增量实时表无缝配合。 有关详细信息,请参阅读取和写入 XML 文件

使用 Databricks 市场共享 AI 模型(公共预览版)

2024 年 1 月 31 日

现在可以使用市场来共享在 Unity Catalog 中注册的模型。 必须为 Unity Catalog 启用提供商和使用者工作区才能参与模型共享。

网络安全组规则更新

2023 年 1 月 31 日

为了提高平台可伸缩性,Azure Databricks 控制平面现在需要新的终结点以便经典数据平面进行连接。 对于部署在你自己的 Azure 虚拟网络中的工作区,网络端口 3306 和 8443-8451 现在已添加到 AzureDatabricks 目标的现有安全规则中,在端口 443 上强制执行出站流量。

有关详细信息,请参阅网络安全组规则

工作区路径更新

过去,用户需要为某些 Databricks API (%sh) 添加 /Workspace 路径前缀,但对于其他 API(%run、REST API 输入)则不需要。 现在,用户可以在 Databricks 中的任何位置提供带有 /Workspace 前缀的工作区路径。 对不带 /Workspace 前缀的路径的旧引用将被重定向,并且继续有效。 Databricks 建议所有工作区路径使用 /Workspace 前缀,以区别于 Volume 和 DBFS 路径。

简化了 Azure Databricks 作业的创建

2024 年 1 月 29 日

现在,在你单击按钮来创建作业后,会立即创建一个空作业,允许你在添加第一个任务之前编辑作业级设置,例如标记、日程安排或通知设置。 以前,你必须先创建第一个任务,然后才能访问作业级设置。 请参阅创建并运行 Azure Databricks 作业

对 Unity Catalog 外部卷基于 URI 路径的访问

2024 年 1 月 25 日

现在,可以使用云存储 URI 对存储在外部卷中的 Unity Catalog 治理的数据进行基于路径的访问。 请参阅使用哪个路径访问卷中的文件?

可对升级的工作区启用访问控制列表

2024 年 1 月 24 日

2023 年 11 月在所有高级计划工作区上都启用了访问控制设置。

对于从标准计划升级到高级计划的工作区,默认情况下会禁用访问控制设置。 工作区管理员现在可以在升级的工作区上启用以下访问控制设置:

  • 工作区访问控制:允许用户配置对工作区对象的权限。
  • 群集、池、作业访问控制:允许用户配置对群集、池和作业的权限。
  • 群集可见性控制:避免群集对没有权限的用户可见。
  • 作业可见性控制:避免作业对没有权限的用户可见。
  • 工作区可见性控制设置:避免笔记本和文件夹对没有权限的用户可见。

在启用访问控制设置后,无法将其禁用。 有关详细信息,请参阅访问控制列表

现推出市场列表事件系统表(公共预览版)

2024 年 1 月 24 日>

Microsoft Azure 市场系统架构现在包括一个列表漏斗事件表(system.marketplace.listing_funnel_events),可在其中监视列表上的使用者操作。 请参阅列表漏斗事件表。

笔记本单元格的更新 UI(公共预览版)

2024 年 1 月 24 日

提供了更新的笔记本单元格设计。 若要启用新的单元格设计,请在工作区中打开编辑器设置页。 在边栏中,单击开发人员。 在“试验功能”下,切换“新单元格 UI”。 有关在原始 UI 和新 UI 中使用笔记本单元格的详细信息,请参阅 Databricks 笔记本:有关新的单元格 UI 的介绍

有关笔记本中语法错误的快速修复帮助

2024 年 1 月 24 日

可以使用快速修复从 Databricks Assistant 获取语法错误的帮助。 有关详细信息,请参阅语法错误和警告的可能操作

Databricks Runtime 14.3 LTS(Beta 版本)

2024 年 1 月 22 日

Databricks Runtime 14.3 LTS 和 Databricks Runtime 14.3 LTS ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 14.3 LTS用于机器学习的 Databricks Runtime 14.3 LTS

使用增量共享来共享 AI 模型(公共预览版)

2024 年 1 月 19 日

现在可以使用增量共享来共享在 Unity Catalog 中注册的模型。 必须为 Unity Catalog 启用提供商和收件人工作区才能共享模型。

请参阅将模型添加到共享

Databricks 市场支持卷共享

2023 年 1 月 18 日

只要拥有启用了 Unity 目录的 Databricks 工作区,Databricks 市场现在就会向你授予卷(非表格数据)的访问权限。 卷是表示云对象存储位置中存储逻辑卷的 Unity 目录对象,它们提供了一种管理非表格数据资产的治理和共享的方法。

从 Databricks UI 创建小组件

2024 年 1 月 18 日

你现在可以使用 Databricks UI 创建 Databricks 小组件。 有关详情,请参阅《使用 UI 创建小组件》。

现已推出仓库事件系统表(公共预览版)

2024 年 1 月 18 日

system.compute.warehouse_events 表记录 SQL 仓库何时启动、停止、纵向扩展和缩减。 可以使用表监视和管理工作区中的 SQL 仓库。 请查看仓库事件系统表参考

工作区文件大小限制现为 500MB

2023 年 1 月 15 日

单个工作区文件现在限制为 500 MB。 以前,限制为 200 MB。 有关更多详细信息,请阅读限制

Databricks 中旧版 Git 集成的功能删除通知

2024 年 1 月 12 日

2024 年 1 月 31 日之后,Databricks 将删除旧笔记本 Git 集成。 此功能两年多以来一直处于旧状态,自 2023 年 11 月以来,产品 UI 一直显示弃用通知。

有关迁移到 Databricks Git 文件夹 (Repos) 的详细信息,请参阅从旧版 Git 集成切换到 Databricks Repos。 如果受到此删除的影响,你需要进行扩展,请联系 Databricks 帐户主管。

Databricks ODBC 驱动程序 2.7.7

2024 年 1 月 9 日

已发布 Databricks ODBC 驱动程序版本 2.7.7(下载)。 此版本增加了以下新功能和增强功能:

  • Azure 托管标识身份验证。
  • 支持异步元数据操作。 服务器需要支持 SPARK_CLI_SERVICE_PROTOCOL_V9 及更高版本。
  • 在本机查询模式下支持参数化查询。 服务器需要支持 SPARK_CLI_SERVICE_PROTOCOL_V8 及更高版本。
  • OAuth 增强功能:连接器现在可以为基于浏览器的身份验证流禁用令牌缓存。

此版本还解决了 2.7.7 中的以下问题:

  • 使用 Windows 信任存储时,连接器将忽略专用根 CA。
  • 操作失败时,连接器不会关闭检测信号线程。
  • 连接器不支持可选的刷新令牌。
  • 查询具有外部名称的表时,连接器无法读取它们。
  • 使用 OAuth 身份验证时,如果 HOST 的字符串长度小于 20,连接器将意外终止。

对 Databricks Runtime 13.2 系列的支持结束

2024 年 1 月 6 日

对 Databricks Runtime 13.2 和用于机器学习的 Databricks Runtime 13.2 的支持已于 1 月 6 日结束。 请参阅 Databricks Runtime 支持生命周期

默认启用 AI 辅助功能

2024 年 1 月 2 日至 8 日

对于未启用合规性安全配置文件的工作区,现在会默认启用 AI 辅助功能。 这些设置包括:

管理员可以为其帐户中的所有工作区或部分工作区选择不使用 AI 辅助功能。