在 Databricks 资产捆绑包中替代作业任务设置
本文介绍了如何在 Databricks 资产捆绑包中替代 Azure Databricks 作业任务的设置。 请参阅什么是 Databricks 资产捆绑包?
在 Azure Databricks 捆绑配置文件中,可以使用作业定义中的task
映射将顶级resources
映射中的作业任务设置与targets
映射中的作业任务设置联接,例如 (为简单起见,用省略号指代省略的内容):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <some-unique-programmatic-identifier-for-this-task>
# Task settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <the-matching-programmatic-identifier-for-this-key>
# Any more task settings to join with the settings from the
# resources mapping for the matching top-level task_key.
# ...
若要联接同一 task
的顶级 resources
映射和 targets
映射,必须将 task
映射的 task_key
设置为同一值。
如果在相同的task
的顶级resources
映射和targets
映射中定义了任何新的作业任务设置,那么targets
映射中的设置优先于顶级resources
映射中的设置。
示例 1:在多个资源映射中定义且无设置冲突的作业任务设置
在此示例中,顶级resources
映射中的spark_version
与targets
的resources
映射中的node_type_id
和num_workers
组合在一起,从而定义命名为my-task
的task_key
的设置(为简单起见,省略号指示省略的内容):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-key
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
},
"task-key": "my-task"
}
],
"...": "..."
}
}
}
}
示例 2:在多个资源映射中定义的作业任务设置存在冲突
在此示例中,在顶级resources
映射和targets
的resources
映射中定义了spark_version
和num_workers
。 targets
中的resources
映射中的spark_version
和num_workers
优先于顶级resources
映射中的spark_version
和num_workers
。 这定义了名为“my-task
”的task_key
的设置 (为简单起见,用省略号指代省略的内容):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
},
"task_key": "my-task"
}
],
"...": "..."
}
}
}
}