Compartir a través de

2024 年 1 月

这些功能和 Azure Databricks 平台的改进已于 2024 年 1 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上的 Azure Databricks 服务演变史,以供参考,但可能与世纪互联运营的 Azure 上的实际部署情况不一致。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

原生 XML 文件格式支持(公共预览版)

2024 年 1 月 31 日

原生 XML 文件格式支持目前以公共预览版提供。 XML 文件格式支持启用对 XML 数据的引入、查询和分析,以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型,支持 SQL 表达式(例如 from_xml)并生成 XML 文档。 它不需要外部 jar,并且可以与 Auto Loader、read_filesCOPY INTO 和 DLT 无缝配合工作。 有关详细信息,请参阅读取和写入 XML 文件

使用 Databricks 市场共享 AI 模型(公共预览版)

2024 年 1 月 31 日

现在可以使用市场来共享在 Unity Catalog 中注册的模型。 要用来参与模型共享,必须为 Unity Catalog 启用提供方和使用方工作区。

请参阅将模型添加到共享

网络安全组规则更新

2024 年 1 月 31 日

为了提高平台的可伸缩性,Azure Databricks 控制平面现在需要新的端点,以连接经典数据平面。 对于部署在你自己的 Azure 虚拟网络中的工作区,网络端口 3306 和 8443-8451 现在已添加到 AzureDatabricks 目标的现有安全规则中,在端口 443 上强制执行出站流量。

有关详细信息,请参阅 在 Azure 虚拟网络(VNet 注入)中部署 Azure Databricks

工作区路径更新

过去,用户需要为某些 Databricks API (/Workspace) 添加 %sh 路径前缀,但对于其他 API(%run、REST API 输入)则不需要。 现在,用户可以在 Databricks 中的任何位置提供带有 /Workspace 前缀的工作区路径。 对不带 /Workspace 前缀的路径的旧引用将被重定向,并且继续有效。 Databricks 建议所有工作区路径使用 /Workspace 前缀,以区别于 Volume 和 DBFS 路径。

无服务器计算对 Azure 存储防火墙的支持已正式发布

2024 年 1 月 30 日

Azure Databricks 无服务器计算对 Azure 存储防火墙的支持已正式发布。 可强制无服务器 SQL 仓库使用稳定的子网 ID 连接到 Azure 存储,并在 Azure 资源防火墙上将这些标识符加入允许列表。

Azure Databricks 作业创建流程简化

2024 年 1 月 29 日

现在,在你单击按钮来创建作业后,会立即创建一个空作业,允许你在添加第一个任务之前编辑作业级设置,例如标记、日程安排或通知设置。 以前,你必须先创建第一个任务,然后才能访问作业级设置。 请参阅 配置和编辑 Lakeflow 作业

基于 URI 路径对 Unity Catalog 外部卷的访问

2024 年 1 月 25 日

现在,可以使用云存储 URI 对存储在外部卷中的 Unity Catalog 治理的数据进行基于路径的访问。 请参阅 用于访问卷中的文件的路径

可对升级的工作区启用访问控制列表

2024 年 1 月 24 日

2023 年 11 月在所有高级计划工作区上都启用了访问控制设置。

对于从标准计划升级到高级计划的工作区,默认情况下会禁用访问控制设置。 工作区管理员现在可以在升级的工作区上启用以下访问控制设置:

  • 工作区访问控制:允许用户配置对工作区对象的权限。
  • 群集、池、作业访问控制:允许用户配置对群集、池和作业的权限。
  • 群集可见性控制:避免群集对没有权限的用户可见。
  • 作业可见性控制:避免作业对没有权限的用户可见。
  • 工作区可见性控制设置:避免笔记本和文件夹对没有权限的用户可见。

在启用访问控制设置后,无法将其禁用。 有关详细信息,请参阅访问控制列表

现已推出市场列表事件系统表(公共预览版)

2024 年 1 月 24 日>

现在,市场系统架构中包括一个用于监控列表上用户动作的列表漏斗事件表(system.marketplace.listing_funnel_events)。

笔记本单元格的用户界面更新(公共预览版)

2024 年 1 月 24 日

提供了更新的笔记本单元格设计。 若要启用新的单元格设计,请在工作区中打开编辑器设置页。 在边栏中,单击开发人员。 在“试验功能”下,切换“新单元格 UI”。 有关使用笔记本单元格的详细信息,请参阅 “自定义笔记本外观”。

帮助快速修复笔记本中的语法错误

2024 年 1 月 24 日

可以使用快速修复功能,让 Databricks Assistant 帮助解决语法错误。 有关详细信息,请参阅 Python 错误高亮显示

Databricks Runtime 14.3 LTS(Beta 版本)

2024 年 1 月 22 日

Databricks Runtime 14.3 LTS 和 Databricks Runtime 14.3 LTS ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 14.3 LTS用于机器学习的 Databricks Runtime 14.3 LTS

使用 Delta Sharing 共享 AI 模型(公共预览版)

2024 年 1 月 19 日

现在可以使用 Delta Sharing 来共享在 Unity Catalog 中注册的模型。 必须为提供者和接收者工作区启用 Unity Catalog 才能进行模型共享。

请参阅将模型添加到共享

Databricks 市场支持卷共享

2023 年 1 月 18 日

只要您拥有启用了 Unity Catalog 的 Databricks 工作区,Databricks Marketplace 就可以向您提供访问卷(非表格数据)的权限。 卷是表示云对象存储位置中存储逻辑卷的 Unity 目录对象,它们提供了一种管理非表格数据资产的治理和共享的方法。

从 Databricks 用户界面创建小组件

2024 年 1 月 18 日

你现在可以使用 Databricks UI 创建 Databricks 组件。 有关详情,请参阅使用 UI 创建小组件

现已推出仓库事件系统表(公共预览版)

2024 年 1 月 18 日

system.compute.warehouse_events 表记录 SQL 仓库何时启动、停止、纵向扩展和缩减。 可以使用表格来监视和管理工作区中的 SQL 数据库仓库。

工作区文件大小限制现为 500MB

2023 年 1 月 15 日

单个工作区文件现在限制为 500 MB。 以前,限制为 200 MB。 有关更多详细信息,请阅读限制

Databricks 中关于旧版 Git 集成功能移除的通知

2024 年 1 月 12 日

2024 年 1 月 31 日之后,Databricks 将删除旧笔记本 Git 集成。 此功能两年多以来一直处于旧状态,自 2023 年 11 月以来,产品 UI 一直显示弃用通知。

有关迁移到 Databricks Git 文件夹 (Repos) 的详细信息,请参阅从旧版 Git 集成切换到 Databricks Repos。 如果此删除对您造成影响并需要延期,请联系 Databricks 客户经理。

Databricks ODBC 驱动程序 2.7.7

2024 年 1 月 9 日

已发布 Databricks ODBC 驱动程序版本 2.7.7(下载)。 此版本增加了以下新功能和增强功能:

  • Azure 托管标识身份验证。
  • 支持异步元数据操作。 服务器需要支持 SPARK_CLI_SERVICE_PROTOCOL_V9 及更高版本。
  • 在本机查询模式下支持参数化查询。 服务器需要支持 SPARK_CLI_SERVICE_PROTOCOL_V8 及更高版本。
  • OAuth 增强功能:连接器现在可以为基于浏览器的身份验证流禁用令牌缓存。

此版本还解决了 2.7.7 中的以下问题:

  • 使用 Windows 信任存储时,连接器将忽略私有的根 CA。
  • 操作失败时,连接器不会关闭心跳线程。
  • 连接器不支持可选的刷新令牌。
  • 查询具有外部名称的表时,连接器无法读取它们。
  • 使用 OAuth 身份验证时,如果 HOST 的字符串长度小于 20,连接器将意外终止。

对 Databricks Runtime 13.2 系列的支持结束

2024 年 1 月 6 日

对 Databricks Runtime 13.2 和用于机器学习的 Databricks Runtime 13.2 的支持已于 1 月 6 日结束。 请参阅 Databricks 支持生命周期

默认启用 AI 辅助功能

2024 年 1 月 2 日至 8 日

对于未启用合规性安全配置文件的工作区,现在会默认启用 AI 辅助功能。 这些包括:

  • Unity Catalog 托管表的 AI 生成的注释

  • 产品内帮助聊天机器人

  • Databricks 助手