如果作业时间线显示许多连续运行的短作业,那么工作负载可能在小于 10 GB 的少量数据上运行许多操作。 每个操作只需几秒钟,但时间和每次操作的固定开销累积起来。 当小作业一次运行一个时,集群大部分可能处于空闲状态,所以你得为没用到的计算付费。
当 作业时间线 显示大多数是小项目时,请使用此页面。 如果时间线显示不同的模式,请查看该模式的页面:
并行运行操作
加快小任务效率的最佳方法是同时运行多个操作。 使用以下方法之一:
使用Lakeflow管道。 Databricks 建议使用 Lakeflow 管道,这些管道会自动并行运行操作。
使用多任务作业。 将操作拆分到多个笔记本中,并使用 多任务任务在同一集群上并行运行它们。
使用SQL仓库。 如果所有查询都是用 SQL 写的,就在 SQL Warehouse 上运行。 SQL 仓库设计用于并行运行大量查询。
使用一个
For each任务。给笔记本参数化,并用For each任务来多次并行运行它。 设置 并发 来控制并行程度。 这种方法在 无服务器计算中表现良好。
合理调整计算资源规模
如果你无法并行化操作,那么小数据上的小操作就无法从大量工作线程中受益。 使用更小的集群或 单节点计算,或者用 无服务器 计算运行工作负载,这样你就不用自己管理集群规模。