2023 年 9 月
这些功能和 Azure Databricks 平台的改进功能已于 2023 年 9 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。
在单用户群集上可用的 Lakehouse 联合身份验证
2023 年 9 月 29 日
Lakehouse 联合身份验证现在可在使用 Databricks Runtime 13.1 及更高版本的单用户集群上使用。 只有连接所有者才能对联合目录运行查询。 请参阅“什么是 Lakehouse Federation?”。
委托在 Unity Catalog 中创建存储凭据的功能
2023 年 9 月 29 日
现在,你可以使用新的 CREATE STORAGE CREDENTIAL
特权授予用户在 Unity Catalog 元存储中创建存储凭据的权限。 请参阅创建存储凭据。
Databricks Runtime 14.1(Beta 版本)
2023 年 9 月 28 日
Databricks Runtime 14.1 和 Databricks Runtime 14.1 ML 现在作为 Beta 版本提供。
请参阅 Databricks Runtime 14.1 和用于机器学习的 Databricks Runtime 14.1。
防止在达到并发限制时跳过作业的运行
2023 年 9 月 27 日 - 2023 年 10 月 2 日
为了防止因并发限制而跳过 Azure Databricks 作业的运行,现在可以对作业启用排队功能。 启用排队功能后,如果达到并发限制,作业会被放入队列中,直到有足够的容量来运行作业。 请参阅如果我的作业因并发限制而无法运行,该怎么办?。
Databricks Terraform 提供程序已更新至版本 1.27.0
2023 年 9 月 27 日
Databricks Terraform 提供程序版本 1.27.0 向 databricks_metastore_data_access
添加了 owner
和 force_destroy
,并包括多项其他改进和 bug 修复等。 有关详细信息,请参阅版本 1.27.0 的更改日志。
Databricks CLI 已更新到版本 0.206.0(公共预览版)
2023 年 9 月 27 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.206.0。 此版本为 Databricks 资产捆绑包中的管道群集启用了目标替代,改善了捆绑包模板初始化体验,并提供了其他功能。 有关详细信息,请参阅版本 0.206.0 的更改日志。
Databricks SDK for Go 已更新到版本 0.21.0(Beta 版)
2023 年 9 月 27 日
Databricks SDK for Go 版本 0.21.0 引入了十几项重大 API 更改,并添加十几个 API 和十几个字段。 有关详细信息,请参阅版本 0.21.0 的更改日志。
Databricks ODBC 驱动程序 2.7.5
2023 年 9 月 23 日
已发布 Databricks ODBC 驱动程序版本 2.7.5(下载)。 此版本增加了以下新功能和增强功能:
- OAuth 2.0 客户端身份验证增强和 OIDC 终结点发现支持。
- 使用客户提供的密钥的服务器端加密。
- Timedate 函数。
- 改进了 Cloud Fetch 的错误消息传送。
- 安全更新。
此版本还解决了 2.7.3 中的以下功能退化:
- 如果调用方为主表或外表的目录传递
NULL
值,SQLForeignKeys
函数会返回空结果。
如果另一个表的目录设置为 NULL
,则版本 2.7.5 现在会返回与相关表关联的所有主键或外键。
Visual Studio Code 教程的 Databricks 扩展已更新至版本 1.1.3
2023 年 9 月 21 日
Visual Studio Code 的 Databricks 扩展版本 1.1.3 添加了几个细微修复。 有关详细信息,请参阅版本 1.1.3 的更改日志。
作为服务主体运行作业的功能已正式发布
2023 年 9 月 21 日
服务主体的角色以及使用服务主体标识运行作业的作业设置现已正式发布。
请参阅以服务主体身份运行作业。
Databricks CLI 已更新到版本 0.205.2(公共预览版)
2023 年 9 月 21 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.2。 此版本包含几个细微更新。 有关详细信息,请参阅版本 0.205.2 的更改日志。
Databricks CLI 已更新到版本 0.205.1(公共预览版)
2023 年 9 月 20 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.1。 此版本为 Databricks 资产捆绑包中的作业任务启用了目标替代,并提供了其他功能。 有关详细信息,请参阅版本 0.205.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.20.0(Beta 版)
2023 年 9 月 20 日
Databricks SDK for Python 版本 0.20.0 添加了十几个 API 和六个字段,更改了几个字段和方法,并删除一些 API。 有关详细信息,请参阅版本 0.20.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.9.0(Beta 版本)
2023 年 9 月 20 日
Databricks SDK for Python 0.9.0 版更改了一些方法和字段,添加了大约 10 个字段,添加了大约 20 个数据类,并引入了其他更改和删除。 有关详细信息,请参阅版本 0.9.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.7.1(Beta 版本)
2023 年 9 月 20 日
Databricks SDK for Python 0.7.1 版包含一个小修补程序,用于提高文件下载性能。 有关详细信息,请参阅版本 0.7.1 的更改日志。
Databricks Terraform 提供程序已更新至版本 1.26.0
2023 年 9 月 20 日
Databricks Terraform 提供程序版本 1.26.0 添加了对 Unity Catalog 卷中的初始化脚本的支持,并包括多项其他改进和 bug 修复等。 有关详细信息,请参阅版本 1.26.0 的更改日志。
适用于 Databricks Runtime 14.0 的 Databricks Connect
2023 年 9 月 20 日
适用于 Databricks Runtime 14.0 的 Databricks Connect 支持完整的结构化流式处理(包括 foreachBatch
)和会在中断后重新附加到查询的长时间运行的查询。
Databricks Connect V2 已推出面向 Scala 的公共预览版
2023 年 9 月 19 日
适用于 Databricks Runtime 13.3 LTS 的 Databricks Connect 现在于公共预览版中支持 Scala,包括数据帧、增量、结构化流式处理等。
对于 Python,现在支持查询取消,DatabricksSession
类现在可以在 Azure Databricks 笔记本和作业中使用。
Unity Catalog 现已推出按需特征计算(公共预览版)
2023 年 9 月 14 日
现在可以在推理时按需计算机器学习特征。 特征计算逻辑、模型和数据均受 Unity Catalog 管理。 这使模型能够使用仅在推理时可用的输入(例如用户的当前位置)计算特征。 有关详细信息,请参阅使用 Python 用户定义的函数按需计算特征。
Databricks Runtime 14.0 已正式发布
2023 年 9 月 14 日
Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 现已正式发布。
请参阅 Databricks Runtime 14.0 (EoS) 和用于机器学习的 Databricks Runtime 14.0 (EoS)。
帐户电子邮件通知升级
2023 年 9 月 14 日
将用户添加到 Azure Databricks 帐户时,Databricks 不再发送电子邮件通知。 当用户被授予工作区访问权限时,用户将继续接收电子邮件通知。
Databricks Terraform 提供程序已更新至版本 1.25.1
2023 年 9 月 13 日
Databricks Terraform 提供程序版本 1.25.1 已经发布,并进行了一些细微改进和 bug 修复。 有关详细信息,请参阅版本 1.25.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.19.2(Beta 版)
2023 年 9 月 13 日
Databricks SDK for Go 版本 0.19.2 包含一个细微修复。 有关详细信息,请参阅版本 0.19.2 的更改日志。
Databricks CLI 已更新到版本 0.205.0(公共预览版)
2023 年 9 月 13 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.0。 这是 Databricks CLI 的第一个在公共预览版中支持 Databricks 资产捆绑包的版本。 有关详细信息,请参阅版本 0.205.0 的更改日志。
/Workspace
的保留位置
2023 年 9 月 13 日
位置 /Workspace
现已保留。 不能再在 Azure Databricks 的根路径下定义名为 /Workspace
的目录。
Databricks 资产捆绑包(公共预览版)
2023 年 9 月 12 日
Databricks 资产捆绑包现提供公共预览版,支持端到端数据、分析和 ML 项目以源文件集合的形式表示。 这使应用数据工程最佳做法(如源代码管理、代码评审、测试和 CI/CD)变得简单。
Databricks Terraform 提供程序已更新至版本 1.25.0
2023 年 9 月 12 日
Databricks Terraform 提供程序版本 1.25.0 包括添加了 Databricks SQL 仓库的 IS_OWNER
权限、次要修复、文档更新等。 有关详细信息,请参阅版本 1.25.0 的更改日志。
Visual Studio Code 的 Databricks 扩展已更新至版本 1.1.2
2023 年 9 月 12 日
Visual Studio Code 的 Databricks 扩展版本 1.1.2 添加了对 Azure Databricks 笔记本中 %run
和 # MAGIC
的试验性支持,修复了多个本地 Databricks CLI 安装的路径问题,等等。 有关详细信息,请参阅版本 1.1.2 的更改日志。
Databricks CLI 已更新到版本 0.204.1(公共预览版)
2023 年 9 月 11 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.204.1。 有关详细信息,请参阅版本 0.204.1 的更改日志。
使用行筛选器和列掩码筛选敏感数据(公共预览版)
2023 年 9 月 11 日
现在可以将行筛选器和列掩码应用于表,以防止某些用户访问敏感数据。 这些筛选器和掩码作为 SQL 用户定义的函数 (UDF) 实现。
现已推出定价系统表(公共预览版)
2023 年 9 月 8 日
系统表现在包括定价表(system.billing.list_prices
),可在其中监视 SKU 随时间推移的成本。 这些日志有助于执行成本分析和监视定价更改。
Databricks SDK for Go 已更新到版本 0.19.1(Beta 版)
2023 年 9 月 7 日
Databricks SDK for Go 版本 0.19.1 继续进行一些细微更新和修复。 有关详细信息,请参阅版本 0.19.1 的更改日志。
Databricks ODBC 驱动程序 2.7.3
2023 年 9 月 7 日
已发布 Databricks ODBC 驱动程序版本 2.7.3(下载)。 此版本包括以下功能和修复:
- 通过升级第三方依赖项进行的漏洞修复。
SQL_ATTR_MAX_ROWS
支持,允许客户端限制查询中提取的行数,从而加快快速加载(例如预览)的速度。- 更新了 MacOS 支持。 驱动程序现在支持 Apple Silicon/M1。
- OAuth2 基于浏览器的身份验证支持,便于单一登录 (SSO)。
重要
如果你使用主键和外键 API,则如果调用方为主表或外表的目录传递 NULL
值,SQLForeignKeys
函数会返回空结果。 开发人员已知悉此问题。
Databricks CLI 已更新到版本 0.204.0(公共预览版)
2023 年 9 月 6 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.204.0。 此版本包括权限相关命令的分组、向多个命令进行添加和更改等。 有关详细信息,请参阅版本 0.204.0 的更改日志。
数据资源管理器现在已重命名为目录资源管理器
2023 年 9 月 6 日
数据资源管理器已重命名为目录资源管理器,以迎合这样一个事实:你可以使用它来处理 Unity Catalog 中的所有安全对象,而不仅仅是数据对象。 请参阅什么是目录资源管理器?。
Databricks SDK for Go 已更新到版本 0.19.0(Beta 版)
2023 年 9 月 4 日
Databricks SDK for Go 版本 0.19.0 重命名了权限 API、添加了 8 个 API 和 5 个字段,更改并删除了几个字段,还更改了几个方法。 有关详细信息,请参阅版本 0.19.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.8.0(Beta 版本)
2023 年 9 月 4 日
Databricks SDK for Python 0.8.0 版重命名了权限 API,添加了六个字段和六个数据类,并引入了多项更改和删除。 有关详细信息,请参阅版本 0.8.0 的更改日志。
在 Unity Catalog 中委托允许列表权限
2023 年 9 月 1 日
现在可以委托管理 Unity Catalog 允许列表中的项的权限。 请参阅将共享计算上的库和 init 脚本加入允许列表。
Repos 中的 GitHub 应用集成已推出正式版
2023 年 9 月 1 日
Repos 中的 GitHub 应用集成正式发布。 与 Repos 中的 GitHub 集成时,此功能可以简化 Git 凭据管理。
重要
GitHub Enterprise Server 不支持 GitHub 应用。