这些功能和Azure Databricks平台改进于 2023 年 9 月发布。
注意
下面列出的发布日期和内容仅对应于大多数情况下Azure公有云的实际部署。
它提供了 Azure 公有云上的 Azure Databricks 服务的演变历史记录,供您参考。这种演变历史可能与由世纪互联运营的 Azure 实际部署情况不一致。
注意
发布分阶段进行。 在初始发布日期后的一周或更晚之前,Azure Databricks工作区可能不会更新。
可在单用户群集上使用湖屋联合身份验证
2023 年 9 月 29 日
湖屋联合身份验证现在可在使用 Databricks Runtime 13.1 及更高版本的单用户群集上使用。 只有连接所有者才能对联合目录运行查询。 请参阅“什么是 Lakehouse Federation?”。
委托在 Unity Catalog 中创建存储凭据的功能
2023 年 9 月 29 日
现在,你可以使用新的 CREATE STORAGE CREDENTIAL 特权授予用户在 Unity Catalog 元存储中创建存储凭据的权限。 请参阅创建存储凭据。
Databricks Runtime 14.1(Beta 版本)
2023 年 9 月 28 日
Databricks Runtime 14.1 和 Databricks Runtime 14.1 ML 现在作为 Beta 版本提供。
请参阅 Databricks Runtime 14.1 (EoS) 和 Databricks Runtime 14.1 for Machine Learning (EoS)。
避免在达到并发限制时跳过作业运行
2023 年 9 月 27 日 - 2023 年 10 月 2 日
为了防止由于并发限制而跳过 Azure Databricks 作业的运行,现在可以为作业启用排队功能。 启用排队功能后,如果达到并发限制,作业会被放入队列中,直到有足够的容量来运行作业。 请参阅启用作业运行排队。
Databricks Terraform 提供程序已更新至版本 1.27.0
2023 年 9 月 27 日
Databricks Terraform 提供程序版本 1.27.0 向 owner 添加了 force_destroy 和 databricks_metastore_data_access,并包括多项其他改进和 bug 修复等。 有关详细信息,请参阅版本 1.27.0 的更改日志。
Databricks CLI 已更新到版本 0.206.0(公共预览版)
2023 年 9 月 27 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.206.0。 此版本为声明性自动化捆绑包中的管道群集启用目标替代、改进捆绑模板初始化体验等。 有关详细信息,请参阅版本 0.206.0 的更改日志。
Databricks SDK for Go 已更新到版本 0.21.0(Beta 版)
2023 年 9 月 27 日
Databricks SDK for Go 版本 0.21.0 引入了十几项重大 API 更改,并添加十几个 API 和十几个字段。 有关详细信息,请参阅版本 0.21.0 的更改日志。
Databricks ODBC 驱动程序 2.7.5
2023 年 9 月 23 日
已发布 Databricks ODBC 驱动程序版本 2.7.5(下载)。 此版本增加了以下新功能和增强功能:
- OAuth 2.0 客户端身份验证增强和 OIDC 终结点发现支持。
- 使用客户提供的密钥的服务器端加密。
- Timedate 函数。
- 改进了 Cloud Fetch 的错误消息传送。
- 安全更新。
此版本还解决了 2.7.3 中的以下功能退化:
- 如果调用方为主表或外表的目录传递
SQLForeignKeys值,则NULL函数返回空结果。
如果另一个表的目录设置为 NULL,则版本 2.7.5 现在会返回与相关表关联的所有主键或外键。
Visual Studio Code的 Databricks 扩展已更新到版本 1.1.3
2023 年 9 月 21 日
适用于 Visual Studio Code 1.1.3 版的
作为服务主体运行作业的功能已正式发布
2023 年 9 月 21 日
服务主体的角色以及使用服务主体标识运行作业的作业设置现已正式发布。
请参阅 用于管理服务主体的角色 和 为作业运行配置“以用户身份运行”。
Databricks CLI 已更新到版本 0.205.2(公共预览版)
2023 年 9 月 21 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.2。 此版本包含几个细微更新。 有关详细信息,请参阅版本 0.205.2 的更改日志。
Databricks CLI 已更新到版本 0.205.1(公共预览版)
2023 年 9 月 20 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.1。 此版本为声明性自动化捆绑包中的作业任务启用目标替代,等等。 有关详细信息,请参阅版本 0.205.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.20.0(Beta 版)
2023 年 9 月 20 日
Databricks SDK for Go 版本 0.20.0 新增了十几个以上的 API 和六个字段,更改了几个字段和方法,并删除了少量 API。 有关详细信息,请参阅版本 0.20.0 的更改日志。
用于Python的 Databricks SDK 已更新到版本 0.9.0 (Beta)
2023 年 9 月 20 日
用于 Python 的Databricks SDK 版本 0.9.0 更改了几个方法和字段,添加约 10 个字段,添加约 20 个数据类,并引入了其他更改和删除。 有关详细信息,请参阅版本 0.9.0 的更改日志。
用于Python的 Databricks SDK 已更新到版本 0.7.1(Beta 版)
2023 年 9 月 20 日
适用于 Python 版本 0.7.1 的
Databricks Terraform 提供程序已更新至版本 1.26.0
2023 年 9 月 20 日
Databricks Terraform 提供程序版本 1.26.0 添加了对 Unity Catalog 卷中的初始化脚本的支持,并包括多项其他改进和 bug 修复等。 有关详细信息,请参阅版本 1.26.0 的更改日志。
Databricks Connect(适用于 Databricks Runtime 14.0)
2023 年 9 月 20 日
适用于 Databricks Runtime 14.0 的 Databricks Connect 支持完整的结构化流(包括 foreachBatch)和中断后重新附加到查询的长时间运行查询。
Lakeview 仪表板(公共预览版)
2023 年 9 月 20 日
Lakeview 仪表板让你可以使用简化且统一的数据治理模型共享可视化效果和数据集。 请参阅 仪表板。
Databricks Connect V2 已推出面向 Scala 的公共预览版
2023 年 9 月 19 日
适用于 Databricks Runtime 13.3 LTS 的 Databricks Connect 现已支持 Scala(公共预览版),包括 DataFrame、Delta、结构化流式传输等。
对于 Python,现在支持查询取消,DatabricksSession 类现在可以用于 Azure Databricks 笔记本和作业。
Unity Catalog 现已推出按需特征计算(公共预览版)
2023 年 9 月 14 日
机器学习功能现在可以在推理时按需计算。 特征计算逻辑、模型和数据均受 Unity Catalog 管理。 这使模型能够使用仅在推理时可用的输入(例如用户的当前位置)计算特征。 有关详细信息,请参阅 按需功能计算。
Databricks Runtime 14.0 现已正式发布
2023 年 9 月 14 日
Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 现已正式发布。
请参阅 Databricks Runtime 14.0 (EoS) 和 Databricks Runtime 14.0 for Machine Learning (EoS)。
帐户电子邮件通知升级
2023 年 9 月 14 日
将用户添加到Azure Databricks帐户时,Databricks 不再发送电子邮件通知。 当用户被授予工作区访问权限时,用户将继续接收电子邮件通知。
Databricks Terraform 提供程序已更新至版本 1.25.1
2023 年 9 月 13 日
Databricks Terraform 提供程序版本 1.25.1 已经发布,并进行了一些细微改进和 bug 修复。 有关详细信息,请参阅版本 1.25.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.19.2(Beta 版)
2023 年 9 月 13 日
Databricks SDK for Go 版本 0.19.2 包含一个细微修复。 有关详细信息,请参阅版本 0.19.2 的更改日志。
Databricks CLI 已更新到版本 0.205.0(公共预览版)
2023 年 9 月 13 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.205.0。 这是 Databricks CLI 的第一个版本,支持公共预览版中的 声明性自动化捆绑包 。 有关详细信息,请参阅版本 0.205.0 的更改日志。
/Workspace 的保留位置
2023 年 9 月 13 日
位置 /Workspace 现已保留。 不能再在Azure Databricks中定义一个相对于根路径的目录,名为/Workspace。
声明式自动化包(公共预览版)
2023 年 9 月 12 日
声明性自动化捆绑包现在以公共预览版提供,允许端到端数据、分析和 ML 项目表示为源文件集合。 这使应用数据工程最佳做法(如源代码管理、代码评审、测试和 CI/CD)变得简单。
Databricks Terraform 提供程序已更新至版本 1.25.0
2023 年 9 月 12 日
Databricks Terraform 提供程序版本 1.25.0 包括添加了 Databricks SQL 仓库的 IS_OWNER 权限、次要修复、文档更新等。 有关详细信息,请参阅版本 1.25.0 的更改日志。
Visual Studio Code的 Databricks 扩展已更新到版本 1.1.2
2023 年 9 月 12 日
适用于 Visual Studio Code 的 Databricks 扩展版本 1.1.2 添加了对 Azure Databricks 笔记本中 和 %run 的实验性支持,并修复了多个本地 Databricks CLI 安装的路径问题,等等。 有关详细信息,请参阅版本 1.1.2 的更改日志。
Databricks CLI 已更新到版本 0.204.1(公共预览版)
2023 年 9 月 11 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.204.1。 有关详细信息,请参阅版本 0.204.1 的更改日志。
使用行筛选器和列掩码筛选敏感数据(公共预览版)
2023 年 9 月 11 日
现在可以将行筛选器和列掩码应用于表,以防止某些用户访问敏感数据。 这些筛选器和掩码作为 SQL 用户定义的函数 (UDF) 实现。 请参阅 行筛选器和列掩码。
现已推出定价系统表(公共预览版)
2023 年 9 月 8 日
系统表现在包括定价表 (system.billing.list_prices),可在其中监视 SKU 随时间推移的成本。 这些日志有助于执行成本分析和监视定价更改。 请参阅定价系统表格参考。
Databricks SDK for Go 已更新到版本 0.19.1(Beta 版)
2023 年 9 月 7 日
Databricks SDK for Go 版本 0.19.1 继续进行一些细微更新和修复。 有关详细信息,请参阅版本 0.19.1 的更改日志。
Databricks ODBC 驱动程序 2.7.3
2023 年 9 月 7 日
已发布 Databricks ODBC 驱动程序版本 2.7.3(下载)。 此版本包括以下功能和修复:
- 通过升级第三方依赖项进行的漏洞修复。
-
SQL_ATTR_MAX_ROWS支持,允许客户端限制查询中提取的行数,从而加快快速加载(例如预览)的速度。 - 更新了 MacOS 支持。 驱动程序现在支持 Apple Silicon/M1。
- OAuth2 基于浏览器的身份验证支持,便于单一登录 (SSO)。
重要
如果使用主键和外键 API,则在调用方为主表或外表的目录传递 SQLForeignKeys 值时,NULL 函数返回空结果。 开发人员已知悉此问题。
Databricks CLI 已更新到版本 0.204.0(公共预览版)
2023 年 9 月 6 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.204.0。 此版本包括权限相关命令的分组、向多个命令进行添加和更改等。 有关详细信息,请参阅版本 0.204.0 的更改日志。
Data Explorer现在是目录浏览器
2023 年 9 月 6 日
Data Explorer 重新命名为目录浏览器,以反映其可用于处理 Unity 目录中所有可安全化的对象,而不仅仅是数据对象。 请参阅什么是目录资源管理器?。
Databricks SDK for Go 已更新到版本 0.19.0(Beta 版)
2023 年 9 月 4 日
Databricks SDK for Go 版本 0.19.0 重命名了权限 API、添加了 8 个 API 和 5 个字段,更改并删除了几个字段,还更改了几个方法。 有关详细信息,请参阅版本 0.19.0 的更改日志。
用于Python的 Databricks SDK 已更新到版本 0.8.0 (Beta)
2023 年 9 月 4 日
用于 Python 版本 0.8.0 的Databricks SDK 重命名权限 API,添加 5 个字段,添加 5 个数据类,并引入了多项更改和删除。 有关详细信息,请参阅版本 0.8.0 的更改日志。
在 Unity Catalog 中委托允许列表权限
2023 年 9 月 1 日
现在可以委托管理 Unity Catalog 允许列表中的项的权限。 请参阅使用标准访问模式(原共享访问模式)的计算上的允许列表库和 init 脚本。
代码库中的GitHub应用集成已正式版发布
2023 年 9 月 1 日
GitHub Repos中的应用集成是正式版。 与 Repos 中的GitHub集成时,此功能允许进行更简单的 Git 凭据管理。
重要
GitHub Enterprise Server 不支持GitHub应用。