通过

2024 年 8 月

  • 项目

这些功能和 Azure Databricks 平台的改进功能已于 2024 年 8 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考，这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

使用新的资源配额 API，针对配额监视 Unity Catalog 对象使用情况

2024 年 8 月 30 日

使用新的资源配额 API，你可以根据资源配额来监视 Unity Catalog 安全对象的使用情况。 很快，当接近配额限制时，你还可以收到电子邮件通知。 请参阅“监视 Unity Catalog 资源配额的使用情况”和资源配额 API 参考。

MPT 7B Instruct 和 MPT 30B Instruct 模型停用

2024 年 8 月 30 日

MPT 7B Instruct 和 MPT 30B Instruct 模型现已停用。 有关推荐的替代模型，请参阅已停用的模型。

由 Azure Databricks 助手替换的 AskSupport

2024 年 8 月 29 日

AskSupport（基于 Databricks Slack 的支持渠道）已替换为 Databricks 助手，后者可在 Databricks 工作区中使用。 使用 Databricks 助手搜索技术文档，创建票证并获取上下文感知支持。

添加到帐户控制台的可导入成本管理仪表板（公共预览版）

2024 年 8 月 28 日

帐户管理员现在可以将可自定义的成本管理仪表板从帐户控制台导入到其帐户中的任何 Unity Catalog 工作区中。 仪表板有两个版本：一个用于监视整个帐户的使用情况，另一个用于监视单个工作区的使用情况。

Lakeflow 系统表通过其他列进行了扩展

2024 年 8 月 23 日

架构中的 system.lakeflow 表通过其他列进行了扩展。 已做出以下更改：

  • jobs 通过 description 列进行了扩展。
  • job_run_timeline 通过 run_type、run_name、compute_ids、termination_code 和 job_parameters 列进行了扩展。
  • job_task_run_timeline 通过 job_run_id、parent_run_id 和 termination_code 列进行了扩展。

架构更改是非重大更改，不会中断现有的工作流。 新的列将不会回填已发出的行。

Python 代码格式错误突出显示

2024 年 8 月 23 日

笔记本和文件编辑器中的 Python 代码可以突出显示格式错误和警告，例如意外缩进、代码行长度过长等。 请参阅 Python 格式错误突出显示。

Delta Sharing：Python 和 Power BI 连接器现在支持更多 Delta Lake 功能

2024 年 8 月 21 日

Delta Sharing Python 连接器 1.1.0+ 和 Power BI v2.132.908.0+ 现在支持：

  • 列映射名称模式
  • 删除向量
  • 统一格式

Databricks Runtime 14.1+ 和开放源代码 Delta Sharing Apache Spark 连接器 3.1+ 现在都支持这些 Delta Lake 功能。

请参阅 Delta Lake 功能支持矩阵。

Delta Sharing 增加了对 TimestampNTZ 的支持

2024 年 8 月 21 日

Delta Sharing 增加了对 Databricks Runtime 14.1 及更高版本和开放源代码 Delta Sharing Apache Spark 连接器 3.3 及更高版本上 TimestampNTZ 的支持。

请参阅 Delta Lake 功能支持矩阵。

Azure Databricks 作业 For each 任务已正式发布

2024 年 8 月 21 日

For each 任务现已正式发布。 可以使用 For each 任务在循环中运行另一个任务，从而将一组不同的参数传递给任务的每次迭代。 For each 任务可以迭代任何标准作业任务，例如笔记本、JAR、Python 脚本或 SQL 任务。 请参阅在循环中运行参数化 Azure Databricks 作业任务。

工作区管理员的 Azure RBAC 权限

2024 年 8 月 20 日

此前，必须具备内置 Azure RBAC（基于角色的访问控制）参与者或所有者角色，才能从 Azure 向用户授予 Azure Databricks 工作区管理员角色。 现在，可以创建自定义 Azure RBAC 角色，该角色具有向用户授予 Azure Databricks 工作区管理员角色的权限 Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action。 这些用户可以管理自己的 Azure Databricks 服务并配置诊断日志记录。 有关详细信息，请参阅所需的 Azure 管理员权限。

Databricks Runtime 15.4 LTS 已正式发布

2024 年 8 月 19 日

Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS ML 现已正式发布。

请参阅 Databricks Runtime 15.4 LTS 和适用于机器学习的 Databricks Runtime 15.4 LTS。

个性化笔记本自动完成

2024 年 8 月 19 日

笔记本自动完成现在会根据个人 Unity Catalog 元数据和使用情况对建议进行优先排序，为每个用户提供自定义建议排名。 请参阅个性化自动完成

为作业计算配置工作区的默认访问模式

2024 年 8 月 16 日

工作区管理员现在可以在其工作区中为作业计算配置默认访问模式。 此默认访问模式应用于未定义访问模式的计算资源。 有关详细信息，请参阅作业计算的默认访问模式。

Databricks 助手的新 / 命令

2024 年 8 月 14 日

Databricks 助手添加了以下 / 命令作为常见任务的快捷方式：

  • /findTables：基于 Unity Catalog 元数据搜索相关表。
  • /findQueries：基于 Unity Catalog 元数据搜索相关查询。
  • /prettify：设置代码的格式以提高可读性。
  • /rename：根据上下文，建议笔记本单元格和其他元素的更新名称。
  • /settings：直接从助手调整笔记本设置。

工作区搜索现在支持卷

2024 年 8 月 14 日

卷现在包含在搜索结果中。 请参阅搜索工作区项目。

Meta Llama 3.1 405B 模型在 Mosaic AI 模型训练中受支持

2024 年 8 月 14 日

Meta Llama 3.1 405B 模型现在在 Mosaic AI 模型训练中受支持。

Databricks JDBC 驱动程序 2.6.40

2024 年 8 月 13 日

Databricks JDBC 驱动程序版本 2.6.40 现在可从 JDBC 驱动程序下载中获取。 此版本删除了冗余的 WARNING 日志消息，以提高日志记录可用性和安全性。

此版本包括以下增强功能和新功能：

  • OIDC 发现终结点支持。 驱动程序现在可设置 OIDC 发现终结点来提取令牌并检索授权终结点。
  • 更新了箭头支持。 驱动程序现在使用 Apache Arrow 版本 14.0.2。 早期版本的驱动程序使用 Apache Arrow 版本 9.0.0。
  • ProxyIgnoreList 支持。 当 UseProxy 设置为 1 时，驱动程序现在支持 ProxyIgnoreList 属性。
  • 刷新令牌支持。 驱动程序现在支持可选刷新令牌。 只要访问令牌有效，它就会保存该令牌并将其重新用于新的连接。 如果驱动程序无法使用刷新令牌来续订访问令牌，它将再次登录。
  • 更新了身份验证支持。 驱动程序现在支持 Google Cloud 上基于浏览器 (U2M) 和客户端凭据 (M2M) 的身份验证。
  • 添加了统一默认 OAuth 选项。
  • 现在可配置 OAuth 重定向端口。 为此，请将 OAuth2RedirectUrlPort 属性设置为你的端口。

有关完整配置信息，请参阅随驱动程序下载包一起安装的 Databricks JDBC 驱动程序指南 。

如果 90 天后未使用，Databricks 个人访问令牌将被吊销

2024 年 8 月 13 日

Databricks 现在会自动吊销任何 90 天或更长时间内未使用的个人访问令牌 (PAT)。 有关详细信息，请参阅自动吊销旧访问令牌。

群集 API 现在支持部分配置更新

2024 年 8 月 13 日

使用新的 API 调用可部分更新群集配置，需要仅指定要更新的属性。 请参阅 REST API 参考中的更新群集配置（部分）。

笔记本单元格中的换行

2024 年 8 月 12 日

现在可以在笔记本单元格中启用或禁用换行，允许文本换行到多行，或保留在能水平滚动的单行中。 请参阅换行。

工作区文件夹中的文件不能再具有相同的名称

2024 年 8 月 9 日

Databricks 现在会阻止在工作区文件夹中创建或重命名资产，当资产的名称与另一个文件的名称完全匹配时，会考虑资产的文件扩展名。 例如，如果同一工作区文件夹中已存在一个基名称为 test、扩展名为 .py 的笔记本，则无法再创建名为 test.py 的文件。

有关详细信息，请参阅命名工作区文件夹中的资产。

计算策略强制实施现已可用

2024 年 8 月 8 日

策略合规性实施使工作区管理员能够更新其工作区的计算资源，以符合最新版本的策略。 此功能可以在 UI 中或通过群集策略 API 使用。

请参阅强制实施策略符合性或群集策略 API。

使用 Databricks Clean Rooms（公共预览版）安全且私密地在数据项目上进行协作

2024 年 8 月 6 日

Databricks Clean Rooms 使用 Delta Sharing 和无服务器计算来提供安全且保护隐私的环境，让多方可以共享敏感的企业数据并进行协作，而无需直接访问彼此的数据。

借助 Clean Rooms，其他 Databricks 帐户的用户可以协作生成有关共享项目（例如广告活动、投资决策或研发）的独特见解，而无需移动或透露敏感数据。 使用 Databricks 笔记本支持的任何语言（包括为机器学习工作负载提供原生支持的 Python）在临时环境中运行复杂的工作负载。

若要试用，请联系 Azure Databricks 代表。

Mosaic AI 矢量搜索现已符合 HIPAA

2024 年 8 月 6 日

Mosaic AI 矢量搜索现在所有区域中都已符合 HIPAA。

行筛选器和列掩码现已推出正式版，包含改进

2024 年 8 月 6 日

向表应用行筛选器和列掩码的功能现已在 Databricks Runtime 12.2 及更高版本中推出正式版。 行筛选器和列掩码可防止指定的用户访问敏感数据。 这些筛选器和掩码作为 SQL 用户定义的函数 (UDF) 实现。 正式版支持以下无法在公共预览版中使用的功能：

  • 策略参数中的常量表达式（字符串、数字、间隔、布尔值、null）。

  • 具体化视图和流式处理表（公共预览版）。

  • MERGE 语句。

  • 表采样。

单独发布的对单用户计算上的精细访问控制的支持还扩展了以下计算选项：处理应用了行筛选器和列掩码的表。

请参阅使用行筛选器和列掩码筛选敏感表数据。

Lakehouse Federation 已正式发布 (GA)

2024 年 8 月 1 日

在 Databricks Runtime 15.2 及更高版本和 Databricks SQL 2024.30 及更高版本中，用于以下数据库类型的 Lakehouse Federation 连接器已推出正式版 (GA)：

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

此版本还引入了以下改进：

  • 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录 (SSO) 身份验证。

  • 支持更多下推（字符串、数学和杂项函数）。

  • 改进了不同查询形状的下推成功率。

  • 其他下推调试功能：

    • EXPLAIN FORMATTED 输出显示下推的查询文本。
    • 查询配置文件 UI 显示下推的查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅查看系统生成的联合查询。