在 Databricks 资产捆绑包中替代作业任务设置

本文介绍了如何在 Databricks 资产捆绑包中替代 Azure Databricks 作业任务的设置。 请参阅什么是 Databricks 资产捆绑包?

在 Azure Databricks 捆绑配置文件中,可以使用作业定义中的task映射将顶级resources映射中的作业任务设置与targets映射中的作业任务设置联接,例如 (为简单起见,用省略号指代省略的内容):

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      tasks:
        - task_key: <some-unique-programmatic-identifier-for-this-task>
          # Task settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          tasks:
            - task_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more task settings to join with the settings from the
              # resources mapping for the matching top-level task_key.
          # ...

若要联接同一 task 的顶级 resources 映射和 targets 映射,必须将 task 映射的 task_key 设置为同一值。

如果在相同的task的顶级resources映射和targets映射中定义了任何新的作业任务设置,那么targets映射中的设置优先于顶级resources映射中的设置。

示例 1:在多个资源映射中定义且无设置冲突的作业任务设置

在此示例中,顶级resources映射中的spark_versiontargetsresources映射中的node_type_idnum_workers组合在一起,从而定义命名为my-tasktask_key的设置(为简单起见,省略号指示省略的内容):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-key
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

在为此示例运行 databricks bundle validate 时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            },
            "task-key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}

示例 2:在多个资源映射中定义的作业任务设置存在冲突

在此示例中,在顶级resources映射和targetsresources映射中定义了spark_versionnum_workerstargets中的resources映射中的spark_versionnum_workers优先于顶级resources映射中的spark_versionnum_workers。 这定义了名为“my-task”的task_key的设置 (为简单起见,用省略号指代省略的内容):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-task
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

在为此示例运行 databricks bundle validate 时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            },
            "task_key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}