2023 年 8 月

  • 项目

这些功能和 Azure Databricks 平台的改进功能已于 2023 年 8 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上 Azure Databricks 服务的演进历史供参考，这些内容可能不适合 Azure 中国云。

注意

发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。

2023 年 8 月 31 日

Unity Catalog 中注册的表现在显示在顶部栏的导航搜索中。 请参阅搜索工作区项目。

Databricks CLI 已更新到版本 0.203.3（公共预览版）

2023 年 8 月 30 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.3。 有关详细信息，请参阅版本 0.203.3 的更改日志。

Databricks JDBC 驱动程序 2.6.34

2023 年 8 月 30 日

已发布 Databricks JDBC 驱动程序版本 2.6.34（下载）。 此版本通过升级第三方库解决了许多漏洞问题。 此外，此版本还修复了以下问题：

  • 当查询无法连接到服务器时线程泄漏。
  • 表元数据的 REMARKS 列中缺少注释。
  • 当结果集关闭操作返回错误时，连接器不会清理检测信号线程中的操作句柄条目。

此版本还通过接受来自服务器的 SQLState 和错误代码改进错误消息处理，并正确检查服务器协议版本。

Databricks SDK for Go 已更新到版本 0.18.0（Beta 版）

2023 年 8 月 29 日

Databricks SDK for Go 版本 0.18.0 引入了 17 项重大 API 更改，添加了 30 个 API，并添加了大约十几个字段。 有关详细信息，请参阅版本 0.18.0 的更改日志。

Databricks SDK for Python 已更新至版本 0.7.0（Beta 版本）

2023 年 8 月 29 日

Databricks SDK for Python 版本 0.7.0 引入了文件 API 的中断性变更，以及 17 项额外的中断性变更。 此版本还会添加 14 个字段，并添加 27 个数据类。 有关详细信息，请参阅版本 0.7.0 的更改日志。

Databricks Terraform 提供程序已更新至版本 1.24.1

2023 年 8 月 29 日

Databricks Terraform 提供程序版本 1.24.1 包含对工作区可访问性验证的修复。 有关详细信息，请参阅版本 1.24.1 的更改日志。

DBFS 生命周期结束的 init 脚本已延长至 2023 年 12 月 1 日

2023 年 8 月 29 日

Databricks 此前宣布，DBFS 上的 init 脚本将于 2023 年 9 月 1 日终止服务。 生命周期结束日期已延长至 2023 年 12 月 1 日。

Databricks Runtime 14.0（beta 版本）

2023 年 8 月 29 日

Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 14.0（不受支持）和用于机器学习的 Databricks Runtime 14.0（不受支持）。

统一导航体验已正式发布

2023 年 8 月 28 日

统一的 Azure Databricks 导航体验已正式发布。 用户无法再回到经典导航体验。 有关详细信息，请参阅导航工作区。

Databricks Terraform 提供程序已更新到版本 1.24.0

2023 年 8 月 25 日

Databricks Terraform 提供程序版本 1.24.0 添加了对 Unity Catalog 对象的帐户级 API 支持，并为多个数据源添加了 acl_principal_id，此外还有其他新增功能。 有关详细信息，请参阅版本 1.24.0 的更改日志。

已从工作区管理员设置页中移除适用于基因组学的 Databricks Runtime 设置

2023 年 8 月 25 日

工作区管理员无法再从工作区管理员设置页或工作区配置 API，为基因科学启用或禁用 Azure Databricks Runtime。 Databricks 基因组学运行时已弃用，并且于 2022 年 9 月 24 日删除了对用于基因组学的 Databricks Runtime 的支持。

Databricks 基因组学运行时已弃用。 若要获取开放源代码的等效服务，请查看基因组学管道和 Glow 的存储库。 属于运行时的生物信息学库已作为 Docker 容器发布，可从 ProjectGlow Dockerhub 页进行拉取。

有关 Databricks Runtime 弃用策略和计划的详细信息，请参阅支持的 Databricks Runtime LTS 版本。

已从工作区管理员设置页中移除容器服务设置

2023 年 8 月 25 日

工作区管理员无法再从工作区管理员设置页启用或禁用容器服务。 容器服务使你能够在群集上使用客户容器。 默认情况下，此服务在所有新工作区上均启用。 仍可使用工作区配置 API 启用或禁用容器服务。 有关详细信息，请参阅启用容器服务。

Databricks CLI 已更新到版本 0.203.2（公共预览版）

2023 年 8 月 24 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.2。 有关详细信息，请参阅版本 0.203.2 的更改日志。

转到 Python 笔记本中函数和变量的定义

2023 年 8 月 24 日

在 Databricks Runtime 12.2 LTS 及更高版本中，将 Python 笔记本附加到群集时，可以自动导航到该笔记本中定义的变量或函数的定义。 有关详细信息，请参阅转到定义。

统一架构浏览器已正式发布

2023 年 8 月 24 日

统一架构浏览器现已在目录资源管理器、SQL 编辑器和笔记本中正式发布。 请参阅什么是目录资源管理器？。

Databricks Runtime 13.3 LTS 已正式发布

2023 年 8 月 22 日

Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 现已正式发布。

请参阅 Databricks Runtime 13.3 LTS 和用于机器学习的 Databricks Runtime 13.3 LTS。

Unity Catalog 标记简介

2023 年 8 月 22 日

你现在可以将标记应用于 Unity Catalog 中的安全对象。 标记有助于整理安全对象并简化数据资产的搜索和发现。 请参阅应用标记。

Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版

2023 年 8 月 23 日

现在，你可以使用 Unity Catalog allowlist 来控制以下操作：在共享模式运行 Databricks Runtime 13.3 及更高版本的计算上安装 init 脚本、JAR 和 Maven 坐标。 请参阅将共享计算上的库和 init 脚本加入允许列表。

对 init 脚本和 JAR 的卷支持为公共预览版

2023 年 8 月 23 日

现在，你可以使用 Unity Catalog 卷，在分配或共享访问模式运行 Databricks Runtime 13.3 及更高版本的计算上存储 init 脚本和 JAR。 请参阅作用域为群集的库和从卷安装库。

简化 Databricks Repos .ipynb 文件输出提交

2023 年 8 月 21 日

Databricks Repos 添加了一些功能，使 .ipynb 文件输出提交更易于控制和查看：

  • Repos 可以为你创建 commit_output 配置文件。
  • UI 中的通知让你可以知道输出提交的状态。
  • 在“文件”菜单中，可以控制是否提交笔记本输出。

请参阅控制 .ipynb 笔记本输出提交。

Databricks Repos 中的 IPYNB 笔记本支持已正式发布

2023 年 8 月 21 日

Databricks Repos 中的 IPYNB 笔记本文件支持已正式发布。 有关 Repos 的详细信息，请参阅：

Databricks SDK for Go 已更新到版本 0.17.0（Beta 版）

2023 年 8 月 18 日

Databricks SDK for Go 版本 0.17.0 增加了 30 多个 API，并重命名了大约 10 个 API。 有关详细信息，请参阅版本 0.17.0 的更改日志。

Databricks SDK for Python 已更新至版本 0.6.0（Beta 版本）

2023 年 8 月 18 日

Databricks SDK for Python 版本 0.6.0 添加了大约 20 个数据类、大约 10 个 API，以及大约 20 个重命名。 有关详细信息，请参阅版本 0.6.0 的更改日志。

Databricks CLI 已更新到版本 0.203.1（公共预览版）

2023 年 8 月 16 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.1。 有关详细信息，请参阅版本 0.203.1 的更改日志。

统一架构浏览器现已正式发布

2023 年 8 月 16 日

现在，笔记本、SQL 编辑器和目录资源管理器可以使用统一的方法来导航数据，包括以下新功能：

  • 树的精简版本。
  • 筛选时在架构级别显示 Unity Catalog 对象计数。
  • 右键单击菜单查看操作。

如果你在脚本或模板中编码 ID，无服务器子网更改可能会影响你

2023 年 8 月 15 日

如果你使用 Azure 存储防火墙，则在 8 月底之前，某些子网 ID 会发生变化。 这不会影响大多数客户，因为 Azure 会自动迁移现有存储防火墙规则中的子网 ID。 此迁移不会影响现有工作负载。

如果你在会更新 Azure 存储防火墙规则的模板或脚本中对无服务器子网列表进行编码，则必须在尝试更新规则之前获取最新的子网 ID 列表。

Databricks SDK for Go 已更新到版本 0.16.0（Beta 版）

2023 年 8 月 14 日

Databricks SDK for Go 版本 0.16.0 增加了大约十几个字段，移除了大约 6 个字段，并更改了大约 6 个 API 的签名。 有关详细信息，请参阅版本 0.16.0 的更改日志。

Partner Connect 支持 Census

2023 年 8 月 14 日

现在可以使用 Partner Connect 将 Azure Databricks 工作区连接到 Census。 有关详细信息，请参阅连接到 Census。

Databricks SDK for Python 已更新至版本 0.5.0（Beta 版本）

2023 年 8 月 11 日

Databricks SDK for Python 版本 0.5.0 更改六个 API 的签名，添加了十几个字段，删除了六个字段，并添加了一些数据类。 有关详细信息，请参阅版本 0.5.0 的更改日志。

对工作区文件的编程写入支持

2023 年 8 月 11 日

使用 Databricks Runtime 11.2 及更高版本的群集支持写入工作区文件。 可以编程方式在工作区中创建、更新和删除文件和目录。

Databricks CLI 已更新到版本 0.203.0（公共预览版）

2023 年 8 月 10 日

Databricks 命令行接口 (Databricks CLI) 版本 0.203.0 改进了 auth login 命令等。 有关详细信息，请参阅版本 0.203.0 的更改日志。

Databricks Terraform 提供程序已更新至版本 1.23.0

2023 年 8 月 9 日

Databricks Terraform 提供程序版本 1.23.0 通过 databricks_job 中的其他受支持字段扩展了 RunJobTask，并添加了 databricks_model_serving 的导出程序支持，此外还有其他新增功能。 有关详细信息，请参阅版本 1.23.0 的更改日志。

现在可以重命名组

2023 年 8 月 8 日

现在可以重命名现有帐户组和工作区本地组。 请参阅更改传感器的名称。

Databricks SDK for Go 已更新至版本 0.15.0（Beta 版本）

2023 年 8 月 7 日

Databricks SDK for Go 版本 0.15.0 重构了与权限相关的 API，使其更易于理解和使用。 有关详细信息，请参阅版本 0.15.0 的更改日志。

Databricks SDK for Python 已更新至版本 0.4.0（Beta 版本）

2023 年 8 月 7 日

Databricks SDK for Python 版本 0.4.0 重构了与权限相关的 API，使其更易于理解和使用。 有关详细信息，请参阅版本 0.4.0 的更改日志。

已删除第三方 iFraming 防护配置设置

2023 年 8 月 7 日

Azure Databricks 通过添加适当的 HTTP 标头来降低来自 iFraming Azure Databricks 的第三方域的风险。 默认情况下仍启用第三方 iFraming 防护，但 Azure Databricks 删除了工作区管理设置以将其禁用。 如果之前为工作区禁用了第三方 iFraming，则该功能将继续针对该工作区禁用。 若要重新启用第三方 iFraming，请联系 Azure Databricks 客户团队。

Visual Studio Code 教程的 Databricks 扩展已更新至版本 1.1.1

2023 年 8 月 4 日

适用于 Visual Studio Code 版本 1.1.1 的 Databricks 扩展提供了几个次要修复，例如在 Windows 上正确处理 HOME 环境变量等。 有关详细信息，请参阅版本 1.1.1 的更改日志。

LangChain 在 13.1 及更高版本中可用

2023 年 8 月 4 日

LangChain 以实验性 MLflow 风格提供，允许 LangChain 客户直接从 Azure Databricks 环境利用 MLflow 的强大工具和试验跟踪功能。

LangChain 是一个软件框架，旨在帮助创建利用大型语言模型 (LLM) 的应用程序，并将其与外部数据相结合，为 LLM 带来更多的训练上下文。

用于机器学习的 Databricks Runtime 包括 langchain Databricks Runtime 13.1 ML 及更高版本。

Unity Catalog 中的特征工程为公共预览版

2023 年 8 月 3 日

借助 Unity Catalog 中的功能工程，Unity Catalog 将成为特征存储区。 可以使用具有主键的任何增量表作为特征表进行模型训练或推理。 Unity Catalog 提供功能发现和治理。

改进了针对重复连续作业失败的错误处理

2023 年 8 月 3 日

超过连续故障阈值的连续作业现在使用指数退避方案有效地重试作业运行，并使作业能够从暂时性问题中恢复。 以前，超过失败阈值的连续作业会被暂停，并且不会重试。

使用增量共享共享架构（公共预览版）

2023 年 8 月 2 日

现在，可以使用增量共享来共享整个架构，使接收者能够在共享架构时访问该架构中的所有表和视图，以及将来添加到该架构中的任何表和视图。 使用 SQL 命令将架构添加到共享需要在 SQL 计算版本 2023.35 或更高版本上运行的 SQL 仓库，或者运行 Databricks Runtime 13.2 或更高版本的集群。 使用目录资源管理器执行相同操作没有计算要求。 请参阅向共享添加架构。

在 Azure Databricks 作业中有条件地运行任务

2023 年 8 月 2 日

可以使用新的 Run if 条件根据任务依赖项的状态运行作业任务，从而在使用 Azure Databricks 作业实施工作流时提供更大的灵活性。 例如，可以使用 Run if 条件在任务的部分或全部依赖项失败时运行任务。 请参阅在 Azure Databricks 作业中有条件地运行任务。

Databricks Terraform 提供程序已更新到版本 1.22.0

2023 年 8 月 1 日

Databricks Terraform 提供程序版本 1.22.0 添加了 databricks_access_control_rule_set 资源以及 databricks_metastore 和 databricks_metastore 数据源等。 有关详细信息，请参阅版本 1.22.0 的更改日志。

增强的安全性与合规性功能

2023 年 8 月 1 日

可以启用合规性安全配置文件，在工作区上提供其他监视、强化计算映像和其他功能。 需要合规性安全配置文件才能使用 Azure Databricks 处理受 PCI-DSS 监管的数据，但如果不处理此类数据，也可以选择启用该配置文件。 你全权负责确保自己遵守所有适用的法律和法规。

或者，可以单独启用增强安全监控，从而提供额外的监控和强化的计算映像。

这两项功能均作为新增的增强安全性与合规性的一部分提供。 如果在工作区上启用这些功能之一，则会按定价页上所述为新增功能付费。 这两种功能都需要高级定价层。

湖屋监视为公共预览版

2023 年 8 月 1 日

Databricks 湖屋监视将数据和模型质量监视集成到 Databricks 平台中。 它提供现成的质量指标，例如汇总统计信息、随时间推移的分布变化以及模型性能（包括公平性和偏见）。 湖屋监视会自动生成摘要仪表板，以帮助直观呈现数据质量随时间推移的变化。 还可以根据数据设置警报。

Databricks Runtime 13.3 LTS（Beta 版本）

2023 年 8 月 1 日

Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 13.3 LTS 和用于机器学习的 Databricks Runtime 13.3 LTS。

新 Git 操作已正式发布：合并分支、变基和拉取并解决冲突

2023 年 8 月 1 日

以下 Git 操作现已在 Databricks Repos 中正式发布：

  • 合并和变基：现在可以直接在 Azure Databricks 中为两个分支进行 Git 合并或变基。 这简化了合并分支的过程，并且能够解决操作过程中出现的冲突。
  • 拉取并解决冲突：现在可以使用 Databricks Repos 来管理和解决使用 Azure Databricks 从远程 Git 存储库拉取时发生的冲突。

借助这些功能强大的新冲突解决工具，能够更加轻松高效地使用 Databricks Repos 协作处理代码。