共用方式為

任务繁多的作业

可以创建最多包含 1000 个任务的作业。 以下主题介绍如何解决可能具有 100 多个任务的大型作业的特定问题。

收到的错误表示只允许 100 个任务

如果收到类似错误 Resources with more than 100 tasks can only be handled by API 2.2 and above. Your resource has 200 tasks ,则必须更新 Databricks SDK 或 Databricks CLI。

以下是所需的最低 SDK 版本,按语言:

SDK 语言 版本
Go 0.60.0
Python 0.45.0
Java 0.42.0

有关使用和升级 SDK 的信息,请参阅 Azure Databricks SDK

Databricks CLI 必须至少为版本 0.244.0。 有关安装和更新 Databricks CLI 的信息,请参阅 安装或更新 Databricks CLI

收到的错误表示只允许 150 个执行上下文

如果收到类似 Too many execution contexts are open right now. (Limit set to 150)错误,则作业尝试在单个计算群集上运行过多的任务。 必须跨多个群集拆分任务。 有关详细信息,请参阅配置作业的计算

作业运行的矩阵视图速度变慢或不显示单个任务

如果你在矩阵视图中查看大量任务(例如,一个作业包含 500 个任务,而你查看 100 个作业运行),则 UI 可能会变慢。 在极端情况下,视图可能只显示每个作业的摘要,而不是按任务的详细信息。

可以将视图筛选为较短的时间跨度,以便一次查看较少的任务。 这可以提高速度,并允许视图显示所有任务的详细信息。

有关矩阵视图的详细信息,请参阅查看单个作业的运行