本文介绍如何替代 Databricks 资产捆绑包中 Azure Databricks 群集的设置。 请参阅什么是 Databricks 资产捆绑包?。
在 Azure Databricks 捆绑配置文件中,可以将顶级 resources
映射中的群集设置与 targets
映射中的群集设置合并,如以下所示。
对于作业,请使用作业定义中的 job_cluster_key
映射,将顶级 resources
映射中的群集设置与 targets
映射中的群集设置联接,例如(省略号指示省略的内容,为简洁起见):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
new_cluster:
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
job_clusters:
- job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level job_cluster_key.
# ...
如果在顶级 resources
映射和同一 targets
的 job_cluster_key
映射中都定义了任何群集设置,则 targets
映射中的设置优先于顶级 resources
映射中的设置。
对于 DLT 管道,请使用 label
管道定义中的映射 cluster
将顶级映射中的 resources
群集设置与映射中的 targets
群集设置联接,例如(省略号指示省略的内容,为简洁起见):
# ...
resources:
pipelines:
<some-unique-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Cluster settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
pipelines:
<the-matching-programmatic-identifier-for-this-pipeline>:
# ...
clusters:
- label: default | maintenance
# Any more cluster settings to join with the settings from the
# resources mapping for the matching top-level label.
# ...
如果在顶级 resources
映射和同一 targets
的 label
映射中都定义了任何群集设置,则 targets
映射中的设置优先于顶级 resources
映射中的设置。
在此示例中,顶级 spark_version
映射中的 resources
与 node_type_id
映射中 num_workers
和 resources
在 targets
中相结合,以定义名为 job_cluster_key
的 my-cluster
的设置(省略号指示省略的内容,为简洁起见):
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
为此示例运行 databricks bundle validate
时,生成的图形如下所示(省略号指示省略的内容,为简洁起见):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
在此示例中,spark_version
和 num_workers
在顶级 resources
映射和 resources
的 targets
映射中定义。 在此示例中,spark_version
中 num_workers
映射中的 resources
和 targets
优先于顶级 spark_version
映射中的 num_workers
和 resources
,以定义命名 job_cluster_key
my-cluster
的设置(省略号指示省略的内容,为简洁起见):
# ...
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
job_clusters:
- job_cluster_key: my-cluster
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
为此示例运行 databricks bundle validate
时,生成的图形如下所示(省略号指示省略的内容,为简洁起见):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"job_clusters": [
{
"job_cluster_key": "my-cluster",
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
}
}
],
"...": "..."
}
}
}
}
在此示例中,顶级 node_type_id
映射中的 resources
结合了 num_workers
中 resources
映射中的 targets
,以定义名称为 label
的 default
的设置(省略号指示省略的内容,为简洁起见):
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: Standard_DS3_v2
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 1
# ...
为此示例运行 databricks bundle validate
时,生成的图形如下所示(省略号指示省略的内容,为简洁起见):
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "Standard_DS3_v2",
"num_workers": 1
}
],
"...": "..."
}
}
}
}
在此示例中,num_workers
在顶级 resources
映射和 resources
的 targets
映射中定义。 num_workers
的 resources
映射中的 targets
优先于顶级 num_workers
映射中的 resources
,用于为名为 label
的 default
定义设置(为简洁起见,下面用省略号表示省略的内容):
# ...
resources:
pipelines:
my-pipeline:
clusters:
- label: default
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
pipelines:
my-pipeline:
clusters:
- label: default
num_workers: 2
# ...
为此示例运行 databricks bundle validate
时,生成的图形如下所示(省略号指示省略的内容,为简洁起见):
{
"...": "...",
"resources": {
"pipelines": {
"my-pipeline": {
"clusters": [
{
"label": "default",
"node_type_id": "Standard_DS3_v2",
"num_workers": 2
}
],
"...": "..."
}
}
}
}