声明性自动化捆绑资源

声明性自动化捆绑包（以前称为 Databricks 资产捆绑包）允许指定捆绑包在捆绑配置中的 resources 映射中使用的Azure Databricks资源的相关信息。 请参阅 资源参考。

本页提供捆绑包支持的所有资源类型的配置参考，并提供了每个受支持类型的详细信息和示例。 有关其他示例，请参阅捆绑包配置示例。

用于验证 YAML 配置的捆绑包的 JSON 架构位于 Databricks CLI GitHub存储库中。

支持的资源

下表列出了捆绑包（YAML 和 Python（如果适用）支持的资源类型。 可以通过在捆绑包中定义资源并部署捆绑包来创建一些资源，并且某些资源只能通过引用要包含在捆绑包中的现有资产来创建。

资源配置定义与 Databricks REST API 对象相对应的 Databricks 对象。 REST API 对象支持的创建请求字段（以 YAML 表示）是资源支持的密钥。 下表中提供了每个资源的相应对象的文档链接。

警报

Type: Map

警报资源定义 SQL 警报（v2）。

在 Databricks CLI 版本 0.279.0 中添加

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

警报.评估

Type: Map

警报评估配置

alert.evaluation.notification

Type: Map

当警报触发时需通知的用户或其他对象。

alert.evaluation.notification.subscriptions

Type: Sequence

无序的通知订阅列表。

列表中的每个项都是一个 AlertSubscription：

alert.evaluation.source

Type: Map

用于评估警报的结果中的源列。

alert.evaluation.threshold

Type: Map

应用于警报评估的阈值可以是一个列或一个值。

警报评估阈值.值

Type: Map

要用作阈值的文本值。 指定以下值类型之一。

alert.schedule

Type: Map

警报的调度配置。

例子

以下示例配置使用简单的评估定义警报：

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

以下示例配置定义了一个警报，其中包含使用聚合评估并发送通知的权限：

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

catalogs

Type: Map

目录资源允许在捆绑包中定义目录（Unity 目录）。

在 Databricks CLI 版本 0.287.0 中添加

catalogs:
  <catalog-name>:
    <catalog-field-name>: <catalog-field-value>

示例：

# databricks.yml
bundle:
  name: catalogs-example
  engine: direct # catalogs require the direct deployment engine

resources:
  catalogs:
    my_catalog:
      name: my_catalog
      comment: 'Catalog created by Declarative Automation Bundles'
      properties:
        purpose: 'Testing'
      grants:
        - principal: someone@example.com
          privileges:
            - USE_CATALOG
            - CREATE_SCHEMA

  schemas:
    my_schema:
      name: my_schema
      catalog_name: ${resources.catalogs.my_catalog.name}
      comment: 'Schema in custom catalog'

catalog.managed_encryption_settings

Type: Map

托管目录数据的加密设置。 用于配置客户管理的密钥（CMK）。

在 Databricks CLI 版本 0.298.0 中添加

群集

Type: Map

群集资源定义 群集。

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

cluster.autoscale（自动扩展）

Type: Map

用于根据负载自动纵向扩展和缩减群集的参数。

cluster.azure_attributes

Type: Map

与在Azure上运行的群集相关的属性。

cluster.azure_attributes.log_analytics_info

Type: Map

Azure Log Analytics代理的配置。

集群.cluster_log_conf

用于将 Spark 日志传送到长期存储目标的配置。

cluster.cluster_log_conf.dbfs

Type: Map

群集日志传递的 DBFS 位置。

cluster.cluster_log_conf.volumes

Type: Map

用于群集日志传送的卷的位置。

cluster.docker_image

Type: Map

自定义 Docker 映像配置。

cluster.docker_image.basic_auth

Type: Map

Docker 存储库的基本身份验证。

集群.初始化脚本

Type: Map

用于存储初始化脚本的配置。 必须至少指定一个位置类型。

cluster.init_scripts.dbfs

Type: Map

init 脚本的 DBFS 位置。

集群.初始化脚本.工作区

Type: Map

初始化脚本的工作区位置。

cluster.init_scripts.abfss

Type: Map

init 脚本的 ABFSS 位置。

cluster.init_scripts.volumes

Type: Map

init 脚本的卷位置。

cluster.driver_node_type_flexibility

Type: Map

驱动程序节点的灵活节点类型配置。

在 Databricks CLI 版本 0.285.0 中添加

cluster.worker_node_type_flexibility

Type: Map

辅助角色节点的灵活节点类型配置。

在 Databricks CLI 版本 0.285.0 中添加

集群.工作负载类型

Type: Map

显示群集工作负荷类型的群集属性。

集群.工作负载类型.客户端

Type: Map

此计算工作负荷的客户端类型。

例子

以下示例使用 Databricks Runtime 15.4 LTS 和群集策略为当前用户创建专用（单用户）群集：

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine: STANDARD

此示例创建一个简单的群集 my_cluster ，并将其设置为用于运行笔记本的 my_job群集：

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

仪表板

Type: Map

仪表板资源允许您在捆绑包中管理 AI/BI 仪表板。 有关 AI/BI 仪表板的信息，请参阅仪表板。

如果您部署了一个捆绑包，其中包含本地环境中的仪表板，然后使用 UI 修改该仪表板，则通过 UI 进行的修改不会应用在本地捆绑包中的仪表板 JSON 文件上，除非您使用 bundle generate 显式更新该文件。 可以使用 --watch 持续轮询和检索仪表板的更改。 请参阅 databricks 捆绑包生成。

此外，如果尝试从本地环境部署包含与远程工作区中的仪表板 JSON 文件不同版本的仪表板 JSON 文件的捆绑包，则会发生错误。 若要使用本地工作区强制部署并覆盖远程工作区中的仪表板，请使用 --force 选项。 请参阅 databricks 捆绑包部署。

在 Databricks CLI 版本 0.232.0 中添加

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

示例：

以下示例包括并将示例的 NYC 出租车行程分析仪表板部署到 Databricks 工作区。

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

试验

Type: Map

试验资源允许在捆绑包中定义 MLflow 试验 。 有关 MLflow 试验的信息，请参阅使用 MLflow 试验组织训练运行。

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

示例：

以下示例定义所有用户都可以查看的试验：

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      tags:
        - key: mlflow.note.content
          value: MLflow experiment used to track runs

external_location （Unity 目录）

Type: Map

外部位置资源允许在捆绑包中定义 外部位置 （Unity 目录）。

在 Databricks CLI 版本 0.289.0 中添加

external_locations:
  <external-location-name>:
    <external-location-field-name>: <external-location-field-value>

external_location.encryption_details

Type: Map

适用于连接到云存储的客户端的加密选项。

external_location.file_event_queue

Type: Map

此外部位置的文件事件队列设置。

示例：

# databricks.yml
bundle:
  name: external-locations-example
  engine: direct # External locations require the direct deployment engine

resources:
  external_locations:
    my_external_location:
      name: my_external_location
      url: 's3://my-bucket/my-path'
      credential_name: my_storage_credential
      comment: 'External location created by Databricks Asset Bundles'
      grants:
        - principal: someone@example.com
          privileges:
            - CREATE_EXTERNAL_TABLE
            - READ_FILES

作业

Type: Map

声明性自动化捆绑包Python支持作业。 请参阅 databricks.bundles.jobs。

作业资源允许你在捆绑包中定义 作业及其相应的任务 。

有关工作的更多信息，请参阅 Lakeflow 工作。 有关使用声明性自动化捆绑包模板创建作业的教程，请参阅 使用声明性自动化捆绑包开发作业。

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

作业.连续性

Type: Map

连续作业执行的配置。

作业部署

Type: Map

由外部源管理的作业的部署信息。

job.邮件通知

Type: Map

作业运行的电子邮件通知设置。

job.environments

Type: Sequence

任务执行环境规范的列表，供作业中的无服务器任务引用。

列表中的每一项都是一个JobEnvironment:

job.environments.spec

Type: Map

表示无服务器环境的实体。

job.git_source

Type: Map

作业源代码的 Git 存储库配置。

job.git_source.sparse_checkout

Type: Map

Git 存储库的稀疏签出配置。

在 Databricks CLI 版本 0.290.0 中添加

job.git_source.git_snapshot

Type: Map

只读提交信息快照。

作业健康

Type: Map

健康监控配置用于作业。

job.health.rules

Type: Sequence

作业健康规则列表。

列表中的每一项都是一个JobHealthRule:

作业.作业集群

Type: Sequence

此作业的任务可以共享和重复使用的作业群集规范列表。 无法在共享作业群集中声明库。 必须在任务设置中声明依赖库。

列表中的每一项都是一个JobCluster:

作业.通知设置

Type: Map

适用于作业中所有通知的通知设置。

job.parameters

Type: Sequence

作业参数定义列表。

列表中的每一项都是一个JobParameter:

任务队列

Type: Map

作业的队列设置。

任务计划

Type: Map

定时计划配置用于定期执行作业。

任务触发器

Type: Map

事件驱动作业执行的触发器配置。

job.trigger.file_arrival

Type: Map

根据文件到达事件进行配置触发。

job.trigger.table

Type: Map

基于表的触发器配置。

作业.触发器.表更新

Type: Map

基于表更新的触发配置。

任务.触发.周期性

Type: Map

定时触发配置。

job.webhook_notifications

Type: Map

作业运行的 Webhook 通知设置。

例子

以下示例使用一个笔记本任务定义具有资源键 hello-job 的作业：

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

以下示例使用 SQL 笔记本定义作业：

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

有关其他作业配置示例，请参阅 作业配置。

有关如何定义作业任务及覆盖作业设置的信息，请参阅：

• 在声明性自动化捆绑包中向作业添加任务
• 作业任务设置替代

job_run

Type: Map

job_run资源作为捆绑部署的一部分触发了现有作业的运行。 与定义作业的 作业不同，作业运行通过ID引用已有的作业。

在 Databricks CLI 版本 1.7.0 中添加

job_runs:
  <job_run-name>:
    <job_run-field-name>: <job_run-field-value>

job_run.pipeline_params

Type: Map

运行中流水线任务的刷新设置。

在 Databricks CLI 版本 1.7.0 中添加

示例：

以下示例触发了对已有作业的运行，覆盖了一个作业参数，并将运行限制为单个任务及其上游任务：

resources:
  job_runs:
    my_job_run:
      job_id: 123456789
      job_parameters:
        catalog: main
      only:
        - +my_task

模型（旧版）

Type: Map

借助模型资源，可以在捆绑包中定义旧模型。 Databricks 建议改用 Unity Catalog 注册的模型。

管道

Type: Map

声明性自动化捆绑包Python支持管道。 请参阅 databricks.bundles.pipelines。

使用管道资源可以创建 管道。 有关管道的信息，请参阅 Spark 声明性管道。 有关使用声明性自动化捆绑包模板创建管道的教程，请参阅 使用声明性自动化捆绑包开发管道。

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

管道部署 (pipeline deployment)

Type: Map

管道的部署类型配置。

流水线.环境

Type: Map

用于在无服务器计算上安装依赖项的环境规范。

流水线.事件日志

Type: Map

管道的事件日志配置。

管道.过滤器

Type: Map

用于确定在已部署图表中需纳入的管道包的筛选器。

pipeline.数据摄取定义

Type: Map

托管引入管道的配置。 这些设置不能与libraries、schema、target或catalog设置一起使用。

SchemaSpec

Type: Map

用于从架构中引入所有表的架构对象规范。

TableSpec

Type: Map

用于导入特定表的表对象规范。

报告规范 (ReportSpec)

Type: Map

用于引入分析报表的报表对象规范。

pipeline.ingestion_definition.source_configurations

Type: Sequence

源的配置。 序列中的每个元素都是包含目录级配置的 Map。

pipeline.ingestion_definition.source_configurations.catalog

Type: Map

目录级源配置参数

pipeline.数据导入定义.表配置

Type: Map

引入表的配置选项。

管道.库

Type: Sequence

定义此管道所需的库或代码列表。

列表中的每个项都是一个定义：

pipeline.libraries.file

Type: Map

定义管道并存储在 Databricks Repos中的文件的路径。

pipeline.libraries.glob

Type: Map

用于包含源代码的统一字段。 每个条目可以是笔记本路径、文件路径或结束 /**的文件夹路径。 此字段不能与 notebook 或 file 一起使用。

pipeline.libraries.notebook

Type: Map

定义管道并存放在 Databricks 工作区的笔记本的路径。

pipeline.notifications

Type: Sequence

此管道的通知设置。 序列中的每个项都是通知配置。

示例：

以下示例定义了一个使用资源键 hello-pipeline 的管道：

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

有关其他管道配置示例，请参阅 管道配置。

注册模型（Unity Catalog）

Type: Map

使用注册的模型资源，可以在 Unity Catalog 中定义模型。 有关 Unity Catalog 注册的模型的信息，请参阅在 Unity Catalog 中管理模型生命周期。

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

registered_model.aliases

Type: Sequence

与已注册的模型关联的别名列表。

列表中的每个项都是一个 Alias：

示例：

以下示例在 Unity Catalog 中定义已注册的模型：

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

架构 (Unity Catalog)

Type: Map

声明性自动化捆绑包Python支持架构。 请参阅 databricks.bundles.schemas。

架构资源类型允许您为工作流和管道中的表及其他资产定义 Unity Catalog 架构，这些工作流和管道是作为捆绑包的一部分创建的。 不同于其他资源类型，架构具有以下限制：

• 构架资源的所有者始终是部署用户，不能更改。 如果在捆绑包中指定了 run_as，则构架上的操作将忽略它。
• 只有相应的构架对象创建 API 支持的字段才可用于架构资源。 例如，不支持 enable_predictive_optimization，因为它仅在更新 API 上可用。

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

例子

以下示例定义了一个管道，其中包含资源密钥 my_pipeline ，该管道创建一个 Unity 目录架构，该架构将密钥 my_schema 作为目标。 此示例使用 替换。

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema
      catalog_name: main
      comment: This schema was created by Declarative Automation Bundles.

声明性自动化捆绑包不支持顶级授权映射，因此，如果要为架构设置授权，请在映射中定义架构的 schemas 授予。 有关授予的详细信息，请参阅显示、授予和撤销权限。

以下示例使用授予定义 Unity Catalog 架构：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - MANAGE
      catalog_name: main

机密 （Unity 目录）

Type: Map

秘密资源允许你定义存储在 Unity 目录中的秘密。 秘密是三级命名空间对象（catalog.schema.secret），用于安全存储敏感的凭证数据，如密码、令牌和密钥。

在Databricks CLI版本1.12.0中添加

secrets:
  <secret-name>:
    <secret-field-name>: <secret-field-value>

例子

以下示例定义了一个 Unity 目录秘密，其值由部署时的 bundle 变量提供：

bundle:
  name: my-bundle

variables:
  my_secret_value:
    description: 'Secret value passed at deploy time'

resources:
  secrets:
    my_secret:
      catalog_name: main
      schema_name: default
      name: my_api_key
      value: ${var.my_secret_value}
      comment: 'API key for external service'

密钥范围

Type: Map

secret_scope资源允许在捆绑包中定义 机密范围 。 有关机密范围的信息，请参阅 机密管理。

在 Databricks CLI 版本 0.252.0 中添加

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

Azure 密钥保管库支持的机密范围的元数据。

例子

以下示例定义使用密钥保管库后端的机密范围：

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

以下示例使用机密范围和权限设置自定义 ACL：

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

有关演示如何使用捆绑包中读取机密范围的任务定义机密范围和作业的示例捆绑包，请参阅 bundle 示例GitHub存储库。

SQL数据仓库

Type: Map

SQL 仓库资源允许在捆绑包中定义 SQL 仓库 。 有关 SQL 仓库的信息，请参阅 Azure Databricks 上的 Data warehouseing。

在 Databricks CLI 版本 0.260.0 中添加

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.channel

Type: Map

SQL 仓库的通道配置。

sql_warehouse.tags

Type: Map

SQL 仓库的自定义标记。

示例：

以下示例定义 SQL 仓库：

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO
      tags:
        custom_tags:
          - key: 'bizunit'
            value: 'commercial'
          - key: 'area'
            value: 'marketing'

卷 (Unity Catalog)

Type: Map

声明性自动化捆绑包Python支持卷。 请参阅 databricks.bundles.volumes。

使用 volume 资源类型，可以将 Unity Catalog 卷作为捆绑包的一部分进行定义并创建。 部署定义了卷的捆绑包时，请注意：

• 在工作区中存在卷之前，不能在捆绑包的 artifact_path 中引用卷。 因此，如果要使用声明性自动化捆绑包创建卷，必须先在捆绑包中定义卷，将其部署到创建卷，然后在后续部署中 artifact_path 引用该卷。
• 部署目标配置了 dev_${workspace.current_user.short_name} 后，捆绑包中的卷不会追加 mode: development 前缀。 但是，可以手动配置此前缀。 请参阅自定义预设。

在 Databricks CLI 版本 0.236.0 中添加

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

示例：

以下示例创建具有键 my_volume_id 的 Unity Catalog 卷。

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

有关运行写入 Unity 目录卷中的文件的作业的示例捆绑包，请参阅 bundle 示例GitHub存储库。

常见对象

授权

Type: Map

定义要授予该主体的主体和特权。 有关授予的详细信息，请参阅显示、授予和撤销权限。

示例：

以下示例使用授予定义 Unity Catalog 架构：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - MANAGE
      catalog_name: main

生命周期

Type: Map

包含资源的生命周期设置。 它在部署或销毁资源时控制资源的行为。

在 Databricks CLI 版本 0.268.0 中添加