Databricks 资产捆绑包功能发行说明

项目
11/11/2024

本文包含有关主要新增和即将推出的 Databricks 资产捆绑包功能和更改的发布的详细信息。捆绑包功能随 Databricks CLI 一起发布。有关更新的完整列表，请参阅 Databricks CLI GitHub 存储库发行说明。

行为更改

以下 Databricks 资产捆绑包行为更改已在 Databricks CLI 版本中发布。

工作区路径现在会自动添加前缀

2024 年 10 月 9 日

工作区路径现在自动以 /Workspace 作为前缀。此外，捆绑包配置中所有路径字符串（如 /Workspace/${workspace.root_path}/...）的用法都会自动替换为 ${workspace.root_path}/...，并将生成一个警告作为 bundle validate 的一部分。

如果指定了自定义 workspace.root_path、workspace.artifact_path 或 workspace.file_path，Databricks 资产捆绑包会自动为其添加前缀 /Workspace，但如果将其中任一项用作变量（例如 my_config_path: /Workspace/${workspace.file_path}/config），则需要更新这些条目以删除 /Workspace 前缀，从而避免警告。

如果你将其中一个作为变量传递并在代码中为它们添加前缀，则需要更新代码以避免这样做。

此更改是必需的，因为最初当工作区文件系统根植于 / 并且主目录位于 /Users 下时，若要通过 Databricks REST API 访问工作区路径，需要直接使用这些路径。若要从代码访问工作区路径，可以使用 /Workspace 文件路径，并且主目录也可在 /Workspace/Users 下使用。为了避免工作区路径的这种二元性，以及工作区路径和 Unity Catalog /Volumes 路径之间的歧义，所有工作区路径都以 /Workspace 作为前缀。

新功能

Databricks CLI 版本中发布了以下 Databricks 资产捆绑包功能和更新。

支持创建通用群集

2024 年 10 月 1 日

此功能已随 Databricks CLI 0.229.0 一起发布。

现在可以使用新的 clusters 资源类型在捆绑配置中创建通用群集。请参阅群集。

新的增量实时表管道重新创建提示和自动批准标志

2024 年 9 月 5 日

此功能已随 Databricks CLI 0.228.0 一起发布。

如果存在捆绑包配置更改，其导致重新创建增量实时表管道，则会出现提示。可通过指定 --auto-approve 标志来跳过提示。

添加了对 Unity Catalog 架构资源的支持

2024 年 7 月 31 日

此功能已随 Databricks CLI 0.225.0 一起发布。

Unity Catalog 架构现在可在捆绑包配置中定义。请参阅架构。

Web 终端中的捆绑包命令

2024 年 7 月 4 日

此功能已随 Databricks CLI 0.223.0 一起发布。

现在，可使用 Web 终端中的 Databricks CLI 与捆绑包进行交互。有关使用 Web 终端的信息，请参阅在 Azure Databricks Web 终端中运行 Shell 命令。

增加了对复杂变量的支持

2024 年 6 月 26 日

此功能已随 Databricks CLI v0.222.0 一起发布。

Databricks 资产捆绑包现在支持复杂变量。请参阅定义复杂变量。

Databricks 资产捆绑包已推出正式版

2024 年 4 月 23 日

Databricks 资产捆绑包现已随 Databricks CLI 0.218.0 版本正式发布。

通过