Databricks 资产捆绑包功能发行说明

本文包含有关主要新增和即将推出的 Databricks 资产捆绑包功能和更改的发布的详细信息。 捆绑包功能随 Databricks CLI 一起发布。 有关更新的完整列表,请参阅 Databricks CLI GitHub 存储库发行说明

行为更改

以下 Databricks 资产捆绑包行为更改已在 Databricks CLI 版本中发布。

部署到共享且权限冲突的捆绑包的警告

2024 年 10 月 23 日

此更改随 Databricks CLI 0.231.0 一起发布。

将捆绑包部署到可供所有用户访问的 /Workspace/Shared 文件夹时,现在会出现警告,但为捆绑包定义的顶级 permissions 与此冲突。 修改为捆绑包定义的权限,或将捆绑包移出 /Workspace/Shared 文件夹。

若要修改捆绑包的权限,请参阅权限

若要将捆绑包移出 /Workspace/Shared 文件夹,请更改捆绑包配置中的 workspace.root_path 以指向新位置,然后重新部署捆绑包。 使用 UI 或运行 databricks fs rm 删除旧捆绑包文件夹。

工作区路径现在会自动添加前缀

2024 年 10 月 9 日

此更改随 Databricks CLI 0.230.0 一起发布。

工作区路径现在自动以 /Workspace 作为前缀。 此外,捆绑包配置中所有路径字符串(如 /Workspace/${workspace.root_path}/...)的用法都会自动替换为 ${workspace.root_path}/...,并将生成一个警告作为 bundle validate 的一部分。

如果指定了自定义 workspace.root_pathworkspace.artifact_pathworkspace.file_path,Databricks 资产捆绑包会自动为其添加前缀 /Workspace,但如果将其中任一项用作变量(例如 my_config_path: /Workspace/${workspace.file_path}/config),则需要更新这些条目以删除 /Workspace 前缀,从而避免警告。

如果你将其中一个作为变量传递并在代码中为它们添加前缀,则需要更新代码以避免这样做。

此更改是必需的,因为最初当工作区文件系统根植于 / 并且主目录位于 /Users 下时,若要通过 Databricks REST API 访问工作区路径,需要直接使用这些路径。 若要从代码访问工作区路径,可以使用 /Workspace 文件路径,并且主目录也可在 /Workspace/Users 下使用。 为了避免工作区路径的这种二元性,以及工作区路径和 Unity Catalog /Volumes 路径之间的歧义,所有工作区路径都以 /Workspace 作为前缀。

新功能

Databricks CLI 版本中发布了以下 Databricks 资产捆绑包功能和更新。

仪表板支持

2024 年 10 月 30 日

此功能已随 Databricks CLI 0.232.0 一起发布。

现在可以使用新的仪表板资源类型在捆绑配置中管理 AI/BI 仪表板。 可以使用 bundle generate dashboard 生成仪表板配置,并使本地和远程版本的仪表板与 --force--watch 选项保持同步。 请参阅仪表板生成捆绑包配置文件

有关 AI/BI 仪表板的信息,请参阅仪表板

“新建捆绑包摘要”命令

2024 年 10 月 23 日

此功能已随 Databricks CLI 0.231.0 一起发布。

添加了一个新 bundle summary 命令。 此命令输出捆绑包的标识和资源摘要,包括资源的深层链接,以便你可以轻松地导航到 Databricks 工作区中的资源。 请参阅输出捆绑包摘要

支持创建通用群集

2024 年 10 月 1 日

此功能已随 Databricks CLI 0.229.0 一起发布。

现在可以使用新的群集资源类型在捆绑包配置中创建通用群集。 请参阅群集

新的增量实时表管道重新创建提示和自动批准标志

2024 年 9 月 5 日

此功能已随 Databricks CLI 0.228.0 一起发布。

如果存在捆绑包配置更改,其导致重新创建增量实时表管道,则会出现提示。 可通过指定 --auto-approve 标志来跳过提示。

添加了对 Unity Catalog 架构资源的支持

2024 年 7 月 31 日

此功能已随 Databricks CLI 0.225.0 一起发布。

Unity Catalog 架构现在可在捆绑包配置中定义。 请参阅架构

Web 终端中的捆绑包命令

2024 年 7 月 4 日

此功能已随 Databricks CLI 0.223.0 一起发布。

现在,可使用 Web 终端中的 Databricks CLI 与捆绑包进行交互。 有关使用 Web 终端的信息,请参阅在 Azure Databricks Web 终端中运行 Shell 命令

增加了对复杂变量的支持

2024 年 6 月 26 日

此功能已随 Databricks CLI v0.222.0 一起发布。

Databricks 资产捆绑包现在支持复杂变量。 请参阅定义复杂变量

Databricks 资产捆绑包已推出正式版

2024 年 4 月 23 日

Databricks 资产捆绑包现已随 Databricks CLI 0.218.0 版本正式发布。