2023 年 6 月

这些功能和 Azure Databricks 平台改进已于 2023 年 6 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks Terraform 提供程序已更新到版本 1.20.0

2023 年 6 月 29 日

Databricks Terraform 提供程序版本 1.20.0 添加了对 Unity Catalog databricks_catalog_workspace_binding 资源的支持,改进了帐户级别的用户和组导出,等等。 如需更多详细信息,请参阅版本 1.20.0 的更改日志。

Databricks CLI 已更新到版本 0.200.1 (公共预览版)

2023 年 6 月 28 日

Databricks CLI 版本 0.200.1 更新 fs lsfs cp 命令,支持将本地文件作为命令的默认值 fs,向 repos create 命令添加提供程序检测等。 如需更多详细信息,请参阅版本 0.200.1 的更改日志。

Databricks SDK for Go 已更新到版本 0.12.0 (Beta 版本)

2023 年 6 月 28 日

Databricks SDK for Go 版本 0.12.0 添加了对作业级参数和参数定义、作业任务条件执行以及针对其他服务的多个 bug 修复的支持。 如需更多详细信息,请参阅版本 1.12.0 的更改日志。

Databricks SDK for Go 已更新到版本 0.11.0 (Beta 版本)

2023 年 6 月 28 日

Databricks SDK for Go 版本 0.11.0 引入了对 Go API 的多项中断性变更,包括数十项添加、重命名和合并。 如需更多详细信息,请参阅版本 0.11.0 的更改日志。

Databricks SDK for Python (beta 版本)

2023 年 6 月 28 日

Databricks SDK for Python 现在以 beta 版本提供。 Databricks SDK for Python 通过运行 Python 代码可以自动处理 Azure Databricks 帐户、工作区和资源。

请参阅 Databricks SDK for Python

Databricks SDK for Go (beta 版本)

2023 年 6 月 28 日

The Databricks SDK for Go 现在以 beta 版本提供。 Databricks SDK for Go 通过运行 Go 代码可以自动处理 Azure Databricks 帐户、工作区和资源。

请参阅 Databricks SDK for Go

访问审核日志、可计费使用情况和世系系统表(公共预览版)

2023 年 6 月 28 日

帐户管理员现在可以启用对 Azure Databricks 帐户中系统表的访问。 系统表是帐户操作数据的 Azure Databricks 托管的分析存储。 系统表提供了易于访问的账户范围可观测性数据。

Unity Catalog 中的模型(公共预览版)

2023 年 6 月 28 日

现在可以升级 MLflow 模型注册表工作流,通过 Unity Catalog 治理模型。 Unity Catalog 提供了集中式访问控制、审核、世系、跨工作区模型共享,以及更好的 MLOps 部署工作流。 Databricks 建议使用 Unity Catalog 中的模型,而不是现有的工作区模型注册表,这将在未来弃用。 有关详细信息,请参阅在 Unity Catalog 中管理模型生命周期

Databricks 市场现已正式发布

2023 年 6 月 27 日

现在,可以使用 Databricks 市场来发现、访问顶级提供商的数百种数据产品和笔记本,并将其部署到 AI 和分析工作流中。 自公共预览版开始以来,亮点包括新的提供商,包括 Dun and Bradstreet、LexisNexis、Refinitiv(伦敦证券交易所集团)、YipitData 和 ZoomInfo,以及增加私人交易所和使用 USE_MARKETPLACE_ASSETS 特权简化消费者权限管理。

Databricks Runtime 13.2(Beta 版本)

2023 年 6 月 26 日

Databricks Runtime 13.2 和 Databricks Runtime 13.2 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 13.2 (EoS)用于机器学习的 Databricks Runtime 13.2 (EoS)

Visual Studio Code 的 Databricks 扩展(正式发布)

2023 年 6 月 26 日

Visual Studio Code 的 Databricks 扩展现已正式发布。 连接到湖屋,执行交互式调试,并运行 Jupyter 笔记本,无需离开 IDE。 使用 IDE 的代码导航、重构、完成和错误识别。

请参阅 Visual Studio Code 的 Databricks 扩展

在没有模板的情况下使用 Azure CLI 和 Powershell 启用客户管理的密钥

2023 年 6 月 23 日

现在,可以使用 Azure CLI 和 Powershell 为托管服务和托管磁盘启用客户管理的密钥,而无需使用模板。 这已经可用于 DBFS 的客户管理的密钥。 请参阅为托管服务启用客户管理的密钥为 Azure 托管磁盘配置客户管理的密钥以及为 DBFS 根客户管理的密钥

在 Azure Databricks 作业 UI 中查看已完成作业运行的直观概述

2023 年 6 月 22 日

增强的 Azure Databricks 作业 UI 直观地概述了已完成的作业运行、可按运行状态和时间进行筛选,以及最常见的作业错误列表。 默认时间筛选器涵盖前 48 小时。 请参阅查看最近的作业运行

Databricks CLI(公共预览版)

2023 年 6 月 21 日

Databricks 命令行接口 (Databricks CLI) 进行了重大改造。 新 CLI 涵盖所有 Databricks REST API 操作,并支持所有 Azure Databricks 身份验证类型。 macOS 和 Linux 用户可以使用 Homebrew 安装新的 CLI。 也支持 Windows。

改进了来自 List all jobsList job runs API 请求的结果的分页

2023 年 6 月 14 日

现在可以使用 page_token 参数对 GET /api/2.1/jobs/list 和 GET /api/2.1/jobs/runs/list Jobs API 请求返回的结果进行分页。 这种基于令牌的分页替换了已弃用的 offsetlimit 参数,并提高了这些请求的服务可伸缩性。

完整页面工作区浏览器包括 Repos

2023 年 6 月 14 日

完整页面工作区浏览器体验现已扩展到 Repos。 可以通过单击边栏中的“工作区”来浏览 Databricks Repos 中的内容以及工作区内容。 还可以使用上下文浏览器浏览笔记本中的内容。 有关整版工作区浏览器的详细信息,请参阅导航工作区工作区浏览器

Databricks Terraform 提供程序已更新到版本 1.19.0

2023 年 6 月 14 日

Databricks Terraform 提供程序 1.19.0 将 run_asrun_as_user_name 添加到 databricks_job,将更多属性添加到 databricks_cluster_policy,将 force_destroy 添加到 databricks_external_location,等等。 如需更多详细信息,请参阅版本 1.19.0 的更改日志。

作为服务主体运行作业(公共预览版)

2023 年 6 月 13 日

现在可以向 Azure Databricks 用户、服务主体和组授予使用服务主体的权限。 这允许用户作为服务主体运行作业,而不是作为作业所有者的标识运行,以防止在用户离开组织或修改组后作业失败。

请参阅用于管理服务主体的角色作为服务主体运行作业

新的服务主体 UI 提供更好的管理体验

2023 年 6 月 13 日

现在可以使用新的服务主体 UI 来管理工作区中的服务主体。 在服务主体 UI 中,可以将服务主体添加到工作区、配置权利和管理服务主体权限。 请参阅管理服务主体

将用户重新添加到工作区时还原主文件夹

2023 年 6 月 9 日

当管理员从工作区中删除用户然后重新添加它们时,用户的主文件夹现在会还原。 以前,在重新添加到工作区后,用户会收到一个新的空主文件夹。 他们的旧主文件夹被保留作为备份。 有关工作区文件夹的详细信息,请参阅将工作区对象组织到文件夹中

Databricks 市场:现已推出专用交换

2023 年 6 月 7 日

专用交换使数据提供者能够与一组选定的受邀使用者共享数据产品。 专用列表出现在受邀使用者的市场主页上,但不会出现在公共市场中。

Databricks 市场:使用者可以使用 UI 卸载数据产品

2023 年 6 月 5 日

数据使用者现在可以使用市场的“我的请求”界面卸载任何数据产品。

Databricks 市场:提供者可以创建自己的配置文件

2023 年 6 月 5 日

在数据提供者的提供程序应用程序获得批准后,他们现在可以创建和更新自己的配置文件。

Databricks Connect V2 是适用于 Python 的 GA

2023 年 6 月 2 日

从 Databricks Runtime 13.1 开始,Databricks Connect 现在是适用于 Python 的正式版。 此版本添加了对结构化流式处理、所有 Delta 功能和 Spark 上的 Pandas 的支持。 它还通过依赖包含的 Databricks SDK for Python 来支持 OAuth (试验性)。

Databricks Terraform 提供程序已更新到版本 1.18.0

2023 年 6 月 2 日

Databricks Terraform 提供程序 1.18.0 添加了 databricks_volume 资源,向 databricks_permissions 添加了 databricks_model_serving 支持,等等。 如需更多详细信息,请参阅版本 1.18.0 的更改日志。

新的 Databricks 市场提供商

2023 年 6 月 1 日

过去一个月,八家新提供商在 Databricks 市场上发布了列表。 其中包括:

  • IQVIA:医疗保健和生命科学数据。
  • Morningstar:投资数据和研究见解,例如 ESG 风险评级数据。
  • Vaisala:天气和环境数据。
  • Sucali:对冲基金和投资者的房地产绩效指标。
  • Veritas Data Research:2010 年至今美国死亡率数据综合指数。
  • Collectors Data Store:面向广告商和消费者的体育和交易卡数据。
  • Tego Cyber:网络安全和威胁情报数据
  • Ribbon Health:医疗保健提供商数据。

如果你对这些提供商或市场有疑问,请联系 dataconsumers@databricks.com

Databricks Runtime 13.1 已推出正式版

2023 年 6 月 1 日

Databricks Runtime 13.1 和 Databricks Runtime 13.1 ML 现已推出正式版。

请参阅 Databricks Runtime 13.1 (EoS)用于机器学习的 Databricks Runtime 13.1 (EoS)

使用统一架构浏览器(公共预览版)从笔记本、SQL 编辑器和目录资源管理器查看数据

2023 年 6 月 1 日

新的统一架构浏览器使你无需退出笔记本或 SQL 编辑器即可查看 Unity Catalog 元存储中的所有数据。 可以选择“你的”将视图限制为仅显示你正在使用的活动数据和收藏的数据。

有关目录资源管理器的详细信息,请参阅目录资源管理器

有关从笔记本访问目录资源管理器的信息,请参阅浏览数据