Databricks 资产捆绑包资源

使用 Databricks 资产捆绑包可以指定捆绑包在捆绑配置中的 resources 映射中使用的 Azure Databricks 资源的相关信息。 请参阅资源映射和资源密钥参考。

本文概述了捆绑包支持的资源类型，并为每个受支持的类型提供详细信息和示例。 有关其他示例，请参阅捆绑包配置示例。

下表列出了捆绑包支持的资源类型。 可以通过在捆绑包中定义资源并部署捆绑包来创建一些资源，并且某些资源只能通过引用要包含在捆绑包中的现有资产来创建。

资源使用相应的 Databricks REST API 对象的创建操作请求有效负载定义，其中对象支持的字段（以 YAML 表示）是资源支持的属性。 表中列出了每个资源的相应有效负载的文档链接。

Type: Map

群集资源定义 群集。

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

以下示例使用 Databricks Runtime 15.4 LTS 和群集策略为当前用户创建专用（单用户）群集：

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

此示例创建一个简单的群集 my_cluster ，并将其设置为用于运行笔记本的 my_job群集：

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'

Type: Map

仪表板资源允许您在捆绑包中管理 AI/BI 仪表板。 有关 AI/BI 仪表板的信息，请参阅仪表板。

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

以下示例包括并将示例的 NYC 出租车行程分析仪表板部署到 Databricks 工作区。

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

如果使用 UI 修改仪表板，则通过 UI 进行的修改不会应用于本地捆绑包中的仪表板 JSON 文件，除非使用 bundle generate 显式更新它。 可以使用 --watch 持续轮询和检索仪表板的更改。 请参阅生成捆绑包配置文件。

此外，如果尝试部署包含与远程工作区中不同的仪表板 JSON 文件的捆绑包，将发生错误。 若要使用本地工作区强制部署并覆盖远程工作区中的仪表板，请使用 --force 选项。 请参阅部署捆绑包。

Type: Map

试验资源允许在捆绑包中定义 MLflow 试验 。 有关 MLflow 试验的信息，请参阅使用 MLflow 试验组织训练运行。

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

以下示例定义所有用户都可以查看的试验：

resources:
  experiments:
    experiment:
      name: my_ml_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

Type: Map

作业资源允许你在捆绑包中定义 作业及其相应的任务 。 有关作业的信息，请参阅使用 Databricks 作业的业务流程。 有关使用 Databricks 资产捆绑模板创建作业的教程，请参阅 使用 Databricks 资产捆绑包开发作业。

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

以下示例使用一个笔记本任务定义具有资源键 hello-job 的作业：

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

有关定义作业任务和重写作业设置的信息，请参阅将任务添加到 Databricks 资产捆绑包中的作业、替代 Databricks 资产捆绑包中的作业任务设置，以及替代 Databricks 资产捆绑包中的群集设置。

Type: Map

借助模型资源，可以在捆绑包中定义旧模型。 Databricks 建议改用 Unity Catalog 注册的模型。

Type: Map

您可以使用管道资源来创建 DLT 管道。 有关管道的信息，请参阅 DLT。 有关使用 Databricks 资产捆绑包模板创建管道的教程，请参阅 使用 Databricks 资产捆绑包开发 DLT 管道。

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

以下示例定义了一个使用资源键 hello-pipeline 的管道：

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Type: Map

quality_monitor 资源允许定义 Unity Catalog 表监视器。

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

有关定义quality_monitor的完整示例包，请参阅mlops_demo。

以下示例为 InferenceLog、TimeSeries 和快照配置文件类型定义质量监视器。

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

Type: Map

使用注册的模型资源，可以在 Unity Catalog 中定义模型。 有关 Unity Catalog 注册的模型的信息，请参阅在 Unity Catalog 中管理模型生命周期。

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

以下示例在 Unity Catalog 中定义已注册的模型：

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

Type: Map

架构资源类型允许您为工作流和管道中的表及其他资产定义 Unity Catalog 架构，这些工作流和管道是作为捆绑包的一部分创建的。 不同于其他资源类型，架构具有以下限制：

• 构架资源的所有者始终是部署用户，不能更改。 如果在捆绑包中指定了 run_as，则构架上的操作将忽略它。
• 只有相应的构架对象创建 API 支持的字段才可用于架构资源。 例如，不支持 enable_predictive_optimization，因为它仅在更新 API 上可用。

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

以下示例定义了一个使用资源键 my_pipeline 的管道，该管道会创建一个以键 my_schema 为目标的 Unity Catalog 构架：

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Databricks 资产捆绑包不支持顶级授权映射，因此如果想为架构设置授权，请在 schemas 映射中定义架构的授权。 有关授予的详细信息，请参阅显示、授予和撤销权限。

以下示例使用授予定义 Unity Catalog 架构：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

Type: Map

使用 volume 资源类型，可以将 Unity Catalog 卷作为捆绑包的一部分进行定义并创建。 部署定义了卷的捆绑包时，请注意：

• 在工作区中存在卷之前，不能在捆绑包的 artifact_path 中引用卷。 因此，如果要使用 Databricks 资产捆绑包创建卷，必须先在捆绑包中定义卷，对其进行部署以创建卷，然后在后续部署中在 artifact_path 中引用该卷。
• 部署目标配置了 dev_${workspace.current_user.short_name} 后，捆绑包中的卷不会追加 mode: development 前缀。 但是，可以手动配置此前缀。 请参阅自定义预设。

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

以下示例创建具有键 my_volume 的 Unity Catalog 卷。

resources:
  volumes:
    my_volume:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

有关运行写入 Unity Catalog 卷中文件的作业的示例捆绑包，请参阅 bundle-examples GitHub 存储库。

Type: Sequence