多个小型 Spark 作业

如果作业时间线显示许多连续运行的短作业,那么工作负载可能在小于 10 GB 的少量数据上运行许多操作。 每个操作只需几秒钟,但时间和每次操作的固定开销累积起来。 当小作业一次运行一个时,集群大部分可能处于空闲状态,所以你得为没用到的计算付费。

当 作业时间线 显示大多数是小项目时,请使用此页面。 如果时间线显示不同的模式,请查看该模式的页面:

并行运行操作

加快小任务效率的最佳方法是同时运行多个操作。 使用以下方法之一:

  • 使用Lakeflow管道。 Databricks 建议使用 Lakeflow 管道,这些管道会自动并行运行操作。

  • 使用多任务作业。 将操作拆分到多个笔记本中,并使用 多任务任务在同一集群上并行运行它们。

  • 使用SQL仓库。 如果所有查询都是用 SQL 写的,就在 SQL Warehouse 上运行。 SQL 仓库设计用于并行运行大量查询。

  • 使用一个For each任务。给笔记本参数化,并用For each任务来多次并行运行它。 设置 并发 来控制并行程度。 这种方法在 无服务器计算中表现良好。

合理调整计算资源规模

如果你无法并行化操作,那么小数据上的小操作就无法从大量工作线程中受益。 使用更小的集群或 单节点计算,或者用 无服务器 计算运行工作负载,这样你就不用自己管理集群规模。