替代 Databricks 资产捆绑包中的群集设置
本文介绍如何替代 Databricks 资产捆绑包中 Azure Databricks 群集的设置。 请参阅什么是 Databricks 资产捆绑包?
在 Azure Databricks 捆绑包配置文件中,可以将顶级 resources
映射中的群集设置与 targets
映射中的群集设置相联接,如下所示。
对于作业,可以使用作业定义中的 job_cluster_key
映射将顶级 resources
映射中的群集设置与 targets
映射中的群集设置相联接,例如(为简洁起见,下面用省略号表示省略的内容):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
new_cluster:
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level job_cluster_key.
# ...
如果在顶级 resources
映射和 targets
映射中为相同的 job_cluster_key
定义了任何群集设置,则 targets
映射中的设置优先于顶级 resources
映射中的设置。
对于增量实时表管道,可以使用管道定义的 cluster
中的 label
映射将顶级 resources
映射中的群集设置与 targets
映射中的群集设置相联接,例如(为简洁起见,下面用省略号表示省略的内容):
# ...
resources:
pipelines:
<some-unique-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
pipelines:
<the-matching-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level label.
# ...
如果在顶级 resources
映射和 targets
映射中为相同的 label
定义了任何群集设置,则 targets
映射中的设置优先于顶级 resources
映射中的设置。
示例 1:在多个资源映射中定义且无设置冲突的新作业群集设置
在此示例中,顶级resources
映射中的spark_version
与targets
的resources
映射中的node_type_id
和num_workers
组合在一起,从而定义命名为my-cluster
的job_cluster_key
的设置(为简单起见,省略号指示省略的内容):
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
示例 2:在多个资源映射中定义的新作业群集设置存在冲突
在此示例中,在顶级resources
映射和targets
的resources
映射中定义了spark_version
和num_workers
。 在此示例中,targets
的resources
映射中的spark_version
和num_workers
优先于顶级resources
映射中的spark_version
和num_workers
,从而定义命名为my-cluster
的job_cluster_key
的设置(为简单起见,省略号指示省略的内容):
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
示例 3:在多个资源映射中定义的、不会发生设置冲突的管道群集设置
在此示例中,顶级 resources
映射中的 node_type_id
与 targets
的 resources
映射中的 num_workers
合并,以便为名为的 default
的 label
定义设置(为简洁起见,下面用省略号表示省略的内容):
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: Standard_DS3_v2
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 1
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "Standard_DS3_v2",
"num_workers": 1
}
],
"...": "..."
}
}
}
}
示例 4:在多个资源映射中定义的有冲突管道群集设置
在此示例中,num_workers
是同时在顶级 resources
映射和 targets
中的 resources
映射中定义的。 targets
的 resources
映射中的 num_workers
优先于顶级 resources
映射中的 num_workers
,用于为名为 default
的 label
定义设置(为简洁起见,下面用省略号表示省略的内容):
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 2
# ...
在为此示例运行 databricks bundle validate
时,生成的图形如下所示(为简洁起见,下面用省略号表示省略的内容):
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "Standard_DS3_v2",
"num_workers": 2
}
],
"...": "..."
}
}
}
}