Databricks 资产捆绑包资源

使用 Databricks 资产捆绑包可以指定捆绑包在捆绑配置中的 resources 映射中使用的 Azure Databricks 资源的相关信息。 请参阅资源映射和资源密钥参考。

本文概述了捆绑包支持的资源类型，并为每个受支持的类型提供详细信息和示例。 有关其他示例，请参阅捆绑包配置示例。

支持的资源

下表列出了捆绑包支持的资源类型。 可以通过在捆绑包中定义资源并部署捆绑包来创建一些资源，并且某些资源只能通过引用要包含在捆绑包中的现有资产来创建。

资源使用相应的 Databricks REST API 对象的创建操作请求有效负载定义，其中对象支持的字段（以 YAML 表示）是资源支持的属性。 表中列出了每个资源的相应有效负载的文档链接。

群集

Type: Map

群集资源定义 群集。

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

例子

以下示例使用 Databricks Runtime 15.4 LTS 和群集策略为当前用户创建专用（单用户）群集：

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

此示例创建一个简单的群集 my_cluster ，并将其设置为用于运行笔记本的 my_job群集：

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

仪表板

Type: Map

仪表板资源允许您在捆绑包中管理 AI/BI 仪表板。 有关 AI/BI 仪表板的信息，请参阅仪表板。

如果您部署了一个捆绑包，其中包含本地环境中的仪表板，然后使用 UI 修改该仪表板，则通过 UI 进行的修改不会应用在本地捆绑包中的仪表板 JSON 文件上，除非您使用 bundle generate 显式更新该文件。 可以使用 --watch 持续轮询和检索仪表板的更改。 请参阅 databricks 捆绑包生成。

此外，如果尝试从本地环境部署包含与远程工作区中的仪表板 JSON 文件不同版本的仪表板 JSON 文件的捆绑包，则会发生错误。 若要使用本地工作区强制部署并覆盖远程工作区中的仪表板，请使用 --force 选项。 请参阅 databricks 捆绑包部署。

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

示例：

以下示例包括并将示例的 NYC 出租车行程分析仪表板部署到 Databricks 工作区。

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

试验

Type: Map

试验资源允许在捆绑包中定义 MLflow 试验 。 有关 MLflow 试验的信息，请参阅使用 MLflow 试验组织训练运行。

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

示例：

以下示例定义所有用户都可以查看的试验：

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

作业

Type: Map

作业资源允许你在捆绑包中定义 作业及其相应的任务 。 有关工作的更多信息，请参阅 Lakeflow 工作。 有关使用 Databricks 资产捆绑模板创建作业的教程，请参阅 使用 Databricks 资产捆绑包开发作业。

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

例子

以下示例使用一个笔记本任务定义具有资源键 hello-job 的作业：

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

以下示例使用 SQL 笔记本定义作业：

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

有关其他作业配置示例，请参阅 作业配置。

有关如何定义作业任务及覆盖作业设置的信息，请参阅：

• 将任务添加到 Databricks 资产捆绑包中的作业
• 作业任务设置替代

模型（旧版）

Type: Map

借助模型资源，可以在捆绑包中定义旧模型。 Databricks 建议改用 Unity Catalog 注册的模型。

管道

Type: Map

使用管道资源可以创建 Lakeflow 声明性 管道。 有关管道的信息，请参阅 Lakeflow 声明性管道。 有关使用 Databricks 资产捆绑包模板创建管道的教程，请参阅 使用 Databricks 资产捆绑开发 Lakeflow 声明性管道。

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

示例：

以下示例定义了一个使用资源键 hello-pipeline 的管道：

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

有关其他管道配置示例，请参阅 管道配置。

质量监控器 (Unity Catalog)

Type: Map

quality_monitor 资源允许定义 Unity Catalog 表监视器。

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

例子

以下示例为 InferenceLog、TimeSeries 和快照配置文件类型定义质量监视器。

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

注册模型（Unity Catalog）

Type: Map

使用注册的模型资源，可以在 Unity Catalog 中定义模型。 有关 Unity Catalog 注册的模型的信息，请参阅在 Unity Catalog 中管理模型生命周期。

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

示例：

以下示例在 Unity Catalog 中定义已注册的模型：

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

架构 (Unity Catalog)

Type: Map

架构资源类型允许您为工作流和管道中的表及其他资产定义 Unity Catalog 架构，这些工作流和管道是作为捆绑包的一部分创建的。 不同于其他资源类型，架构具有以下限制：

• 构架资源的所有者始终是部署用户，不能更改。 如果在捆绑包中指定了 run_as，则构架上的操作将忽略它。
• 只有相应的构架对象创建 API 支持的字段才可用于架构资源。 例如，不支持 enable_predictive_optimization，因为它仅在更新 API 上可用。

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

例子

以下示例定义了一个使用资源键 my_pipeline 的管道，该管道会创建一个以键 my_schema 为目标的 Unity Catalog 构架：

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Databricks 资产捆绑包不支持顶级授权映射，因此如果想为架构设置授权，请在 schemas 映射中定义架构的授权。 有关授予的详细信息，请参阅显示、授予和撤销权限。

以下示例使用授予定义 Unity Catalog 架构：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

密钥范围

Type: Map

secret_scope资源允许在捆绑包中定义 机密范围 。 有关机密范围的信息，请参阅 机密管理。

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

例子

以下示例定义使用密钥保管库后端的机密范围：

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

以下示例使用机密范围和权限设置自定义 ACL：

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

有关如何在捆绑包中定义机密范围和包含从中读取任务的作业的示例捆绑包，请参阅 捆绑包示例 GitHub 存储库。

SQL数据仓库

Type: Map

SQL 仓库资源允许在捆绑包中定义 SQL 仓库 。 有关 SQL 仓库的信息，请参阅 Azure Databricks 上的数据仓库。

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

示例：

以下示例定义 SQL 仓库：

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

卷 (Unity Catalog)

Type: Map

使用 volume 资源类型，可以将 Unity Catalog 卷作为捆绑包的一部分进行定义并创建。 部署定义了卷的捆绑包时，请注意：

• 在工作区中存在卷之前，不能在捆绑包的 artifact_path 中引用卷。 因此，如果要使用 Databricks 资产捆绑包创建卷，必须先在捆绑包中定义卷，对其进行部署以创建卷，然后在后续部署中在 artifact_path 中引用该卷。
• 部署目标配置了 dev_${workspace.current_user.short_name} 后，捆绑包中的卷不会追加 mode: development 前缀。 但是，可以手动配置此前缀。 请参阅自定义预设。

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

示例：

以下示例创建具有键 my_volume_id 的 Unity Catalog 卷。

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

有关运行写入 Unity Catalog 卷中文件的作业的示例捆绑包，请参阅 bundle-examples GitHub 存储库。

常见对象

授权

Type: Sequence