通过

2024 年 8 月

这些功能和 Azure Databricks 平台的改进功能已于 2024 年 8 月发布。

备注

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考，这些内容可能不适用于由世纪互联运营的 Azure。

备注

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

使用新的资源配额 API，针对配额监视 Unity Catalog 对象使用情况

2024 年 8 月 30 日

使用新的资源配额 API，你可以根据资源配额来监视 Unity Catalog 安全对象的使用情况。 很快，当接近配额限制时，你还可以收到电子邮件通知。 请查看监控 Unity Catalog 资源配额的使用情况和资源配额 API 文档。

MPT 7B 指令和 MPT 30B 指令模型停用

2024 年 8 月 30 日

MPT 7B Instruct 和 MPT 30B Instruct 模型现已停用。 要获取推荐的替代型号，请参阅已停用的模型。

Azure Databricks 助手取代了 AskSupport

2024 年 8 月 29 日

AskSupport（基于 Databricks Slack 的支持渠道）已替换为 Databricks 助手，后者可在 Databricks 工作区中使用。 使用 Databricks 助手搜索技术文档，创建工单并获取上下文相关支持。

添加到帐户控制台的可导入成本管理仪表板（公共预览版）

2024 年 8 月 28 日

帐户管理员现在可以将可自定义的成本管理仪表板从帐户控制台导入到其帐户中的任何 Unity Catalog 工作区中。 仪表板有两个版本：一个用于监视整个帐户的使用情况，另一个用于监视单个工作区的使用情况。

Lakeflow 系统表通过其他列进行了扩展

2024 年 8 月 23 日

为 system.lakeflow 架构中的表扩展了更多列。 已做出以下更改：

  • 为 jobs 扩展了 description 列。
  • job_run_timeline 通过 run_type、run_name、compute_ids、termination_code 和 job_parameters 列进行了扩展。
  • job_task_run_timeline 通过 job_run_id、parent_run_id 和 termination_code 列进行了扩展。

架构更改是非重大更改，不会中断现有的工作流。 不会为已发出的行回填新列。

Python 代码格式错误突出显示

2024 年 8 月 23 日

笔记本和文件编辑器中的 Python 代码可以突出显示格式错误和警告信息，例如意外缩进、行长度过长等。 请参阅 Python 错误高亮显示。

Delta Sharing：Python 和 Power BI 连接器现在支持更多 Delta Lake 功能

2024 年 8 月 21 日

Delta Sharing Python 连接器 1.1.0+ 和 Power BI v2.132.908.0+ 现在支持：

  • 列映射名称模式
  • 删除矢量
  • 统一格式

Databricks Runtime 14.1+ 和开放源代码 Delta Sharing Apache Spark 连接器 3.1+ 现在都支持这些 Delta Lake 功能。

请参阅 Delta Lake 功能支持矩阵。

Delta Sharing 增加了对 TimestampNTZ 的支持

2024 年 8 月 21 日

Delta Sharing 增加了对 Databricks Runtime 14.1 及更高版本和开放源代码 Delta Sharing Apache Spark 连接器 3.3 及更高版本上 TimestampNTZ 的支持。

请参阅 Delta Lake 功能支持矩阵。

Azure Databricks 作业 For each 任务已正式发布

2024 年 8 月 21 日

For each 任务现已正式发布。 可以使用 For each 任务在循环中运行另一个任务，从而将一组不同的参数传递给任务的每次迭代。 For each 任务可以迭代任何标准作业任务，例如笔记本、JAR、Python 脚本或 SQL 任务。 请参阅 使用 For each 任务来循环运行另一任务。

Azure RBAC 工作区管理员权限

2024 年 8 月 20 日

此前，必须具备内置 Azure RBAC（基于角色的访问控制）参与者或所有者角色，才能从 Azure 向用户授予 Azure Databricks 工作区管理员角色。 现在，可以创建自定义 Azure RBAC 角色，该角色具有向用户授予 Azure Databricks 工作区管理员角色的权限 Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action。 这些用户可以管理自己的 Azure Databricks 服务并配置诊断日志记录。 有关详细信息，请参阅所需的 Azure 管理员权限。

Databricks Runtime 15.4 LTS 已正式发布

2024 年 8 月 19 日

Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS ML 现已正式发布。

请参阅 Databricks Runtime 15.4 LTS 和适用于机器学习的 Databricks Runtime 15.4 LTS。

个性化笔记本自动完成

2024 年 8 月 19 日

笔记本自动完成现在会根据个人 Unity Catalog 元数据和使用情况对建议进行优先排序，为每个用户提供自定义建议排名。 请参阅个性化自动完成

2024 年 8 月 18 日

用户现在可以在 Web 终端和笔记本单元格中创建符号链接。 如果将鼠标悬停在符号链接上，将显示一个工具提示，其中包含其基础路径和复制路径的选项。 所有目标都必须位于 /Workspace 目录中。

为作业计算配置工作区的默认访问模式

2024 年 8 月 16 日

工作区管理员现在可以在其工作区中为作业计算配置默认访问模式。 此默认访问模式应用于未定义访问模式的计算资源。 有关详细信息，请参阅作业计算的默认访问模式。

Databricks 助手的新斜杠命令

2024 年 8 月 14 日

Databricks 助手添加了以下斜杠命令作为常见任务的快捷方式：

  • /findTables：基于 Unity Catalog 元数据搜索相关表。
  • /findQueries：根据 Unity Catalog 元数据检索相关的查询。
  • /prettify：设置代码的格式以提高可读性。
  • /rename：根据上下文，为笔记本单元格和其他元素建议更新名称。
  • /settings：直接通过语音助手调整笔记本设置。

工作区搜索现在支持卷

2024 年 8 月 14 日

卷现在包含在搜索结果中。 请参阅搜索工作区对象。

基础模型微调支持 Meta Llama 3.1 405B 模型

2024 年 8 月 14 日

基础模型微调现在支持 Meta Llama 3.1 405B 模型。

Databricks JDBC 驱动程序 2.6.40

2024 年 8 月 13 日

Databricks JDBC 驱动程序版本 2.6.40 现在可从 JDBC 驱动程序下载中获取。 此版本删除了冗余的 WARNING 日志消息，以提高日志记录可用性和安全性。

此版本包括以下增强功能和新功能：

  • OIDC 发现终结点支持。 驱动程序现在可设置 OIDC 发现终结点来提取令牌并检索授权终结点。
  • 更新了箭头支持。 驱动程序现在使用 Apache Arrow 版本 14.0.2。 早期版本的驱动程序使用 Apache Arrow 版本 9.0.0。
  • ProxyIgnoreList 支持。 当 ProxyIgnoreList 设置为 UseProxy 时，驱动程序现在支持 1 属性。
  • 刷新令牌支持。 驱动程序现在支持可选刷新令牌。 只要访问令牌有效，它就会保存该令牌并将其重新用于新的连接。 如果驱动程序无法使用刷新令牌来续订访问令牌，它将再次登录。
  • 更新了身份验证支持。 驱动程序现在支持 Google Cloud 上基于浏览器 (U2M) 和客户端凭据 (M2M) 的身份验证。
  • 添加了统一默认 OAuth 选项。
  • 现在可配置 OAuth 重定向端口。 为此，请将 OAuth2RedirectUrlPort 属性设置为你的端口。

有关完整配置信息，请参阅随驱动程序下载包一起安装的 Databricks JDBC 驱动程序指南 。

如果 90 天后未使用，Databricks 个人访问令牌将被吊销

2024 年 8 月 13 日

Databricks 现在会自动吊销任何 90 天或更长时间内未使用的个人访问令牌 (PAT)。 有关详细信息，请参阅监视和撤销个人访问令牌。

群集 API 现在支持部分配置更新

2024 年 8 月 13 日

使用新的 API 调用可部分更新群集配置，需要仅指定要更新的属性。 请参阅 REST API 参考中的更新群集配置（部分）。

在笔记本单元格中换行

2024 年 8 月 12 日

现在可以在笔记本单元格中启用或禁用换行，允许文本折成多行显示，或者保持单行显示并通过水平滚动查看。 请参阅换行。

工作区文件夹中的文件不能再具有相同的名称

2024 年 8 月 9 日

Databricks 现在会阻止您在工作区文件夹中创建或重命名资产，如果资产名称（包括文件扩展名）与另一个文件名称完全匹配。 例如，如果同一工作区文件夹中已存在一个基名称为 test.py、扩展名为 test 的笔记本，则无法再创建名为 .py 的文件。

有关详细信息，请参阅命名工作区文件夹中的资产。

计算策略强制实施功能现已推出

2024 年 8 月 8 日

策略合规性实施使工作区管理员能够更新其工作区的计算资源，以符合最新版本的策略。 此功能可以在 UI 中或通过群集策略 API 使用。

请参阅强制实施策略符合性或群集策略 API。

使用 Databricks Clean Rooms（公共预览版）安全且私密地在数据项目上进行协作

2024 年 8 月 6 日

Databricks Clean Rooms 使用 Delta Sharing 和无服务器计算来提供安全且保护隐私的环境，让多方可以共享敏感的企业数据并进行协作，而无需直接访问彼此的数据。

借助 Clean Rooms，其他 Databricks 帐户的用户可以协作生成有关共享项目（例如广告活动、投资决策或研发）的独特见解，而无需移动或透露敏感数据。 使用 Databricks 笔记本支持的任何语言（包括为机器学习工作负载提供原生支持的 Python）在临时环境中运行复杂的工作负载。

若要试用，请联系 Azure Databricks 代表。

Mosaic AI 矢量搜索现已符合 HIPAA

2024 年 8 月 6 日

Mosaic AI 矢量搜索现在所有区域中都已符合 HIPAA。

在笔记本和查询结果表中格式化列

2024 年 8 月 6 日

自定义你的结果表，使其更易阅读，包含货币、百分比、URL等列格式选项，以及对小数位数的控制。 请参阅设置列格式。

行筛选器和列掩码现已正式发布，包含改进

2024 年 8 月 6 日

向表应用行筛选器和列掩码的功能现已在 Databricks Runtime 12.2 及更高版本中普遍可用。 行筛选器和列掩码可防止指定的用户访问敏感数据。 这些筛选器和掩码作为 SQL 用户定义的函数 (UDF) 实现。 正式版支持以下无法在公共预览版中使用的功能：

  • 策略参数中的常量表达式（字符串、数字、间隔、布尔值、null）。

  • 具体化视图和流式处理表（公共预览版）。

  • MERGE 语句。

  • 表抽样。

支持在单用户计算上进行精细访问控制的单独发布还扩展了用于处理应用行筛选器和列掩码的表的计算选项。

请参阅使用行筛选器和列掩码筛选敏感表数据。

Lakehouse Federation 已正式发布 (GA)

2024 年 8 月 1 日

在 Databricks Runtime 15.2 及更高版本，以及 Databricks SQL 2024.30 及更高版本中，用于以下数据库类型的 Lakehouse Federation 连接器已正式发布 (GA)：

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • 雪花
  • Microsoft SQL Server
  • Azure Synapse （SQL 数据仓库）
  • Databricks

此版本还引入了以下改进：

  • 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录 (SSO) 身份验证。

  • 支持更多下推操作（包括字符串、数学和其他函数）。

  • 改进了不同查询形状的下推成功率。

  • 其他下推调试功能：

    • EXPLAIN FORMATTED 输出显示下推查询文本。
    • 查询配置文件界面显示下推查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅查看系统生成的联合查询。