Spark 作业之间的间隙

工作时间线的空白期是指没有 Spark 作业运行的时期。 在空档期间,工人通常处于空闲状态,但你仍然需要为集群付费。 如果空档时间占工作负载运行时间的很大一部分,工作负载耗时更长,成本也更高,而不仅仅是 Spark 工作本身所需的时间和成本。

当 作业时间线 显示管道中间出现一分钟或更长时间的空档时,可以使用此页面:

作业间隙

在驱动程序协调工作期间,预计会出现短暂间隔。 如果时间线显示出不同的模式,例如长时间运行的作业,请查看作业时间线,检查是否还有其他模式,并利用本指南的其他页面来诊断问题。 请参见 使用 Spark UI 诊断成本和性能问题。

要判断空档是否是预期的,先弄清楚群集在此期间正在做什么。 最常见原因是:

没有工作

在 通用计算中,空闲时段通常意味着集群没有工作可做。 例如,用户会间歇性提交查询,因此集群在两次查询之间处于空闲状态。 为了降低成本,Databricks建议使用 无服务器计算,这样你就不用为空闲时间付费。

复杂的执行计划

驱动程序可能需要很长时间来构建和处理复杂的执行计划。 这段时间内没有Spark作业运行,所以它看起来是工作时间线上的一个空白。 例如,在循环中调用 withColumn() 会创建一个开销非常大的执行计划。 要解决这个问题,可以简化代码。 使用 selectExpr() 将多个 withColumn() 调用合并为一个表达式,或将代码转换为 SQL。 你可以把SQL嵌入Python代码,再用Python字符串函数构建查询。

执行非 Spark 代码

Spark代码使用SQL或Spark API,如 PySpark。 不使用 Spark 的代码在时间线中以空白形式出现。 例如,调用原生 Python 函数的 Python 循环运行在 Spark 外部。 如果你不确定代码是否运行 Spark,可以在笔记本中以交互方式运行代码。 如果代码使用 Spark,你会在单元格下方看到 Spark 作业:

Spark 执行

要检查这些作业是否仍在运行,请在单元下方展开 Spark Jobs 下拉菜单。 如果代码没有使用 Spark,单元格中没有 Spark 作业,或者这些作业都没有正在运行。 如果你不能交互运行代码,可以添加日志功能,并通过时间戳将缺失处与代码的不同部分对应起来。 这种做法可能会比较棘手。

如果时间线显示因运行非 Spark 代码而出现空档,工作节点会在这些空档期间处于空闲状态,但你仍然需要为它们付费。 如果这是无意的,请重写代码以使用 Spark,充分利用集群:

如果非 Spark 代码是必需的,可以考虑 无服务器计算,这样你不需要为空闲时间付费。 这种方法可能会显著降低成本。

驱动程序过载

要检查驱动程序是否过载,可以查看集群度量指标。 在Databricks Runtime 13.0及以上版本中,点击“ Metrics”,如图所示:

新的群集指标

在 服务器负载分布可视化中,检查驱动程序是否负载较重。 可视化中为集群中的每台机器设置了一个颜色块。 红色表示重载,蓝色表示无负荷。

前面的截图显示了一个大部分闲置的集群。 如果驾驶员负荷过大,可视化效果类似:

新指标,忙碌的驱动程序

在这个例子中,一个方格是红色,其他方格是蓝色。 将鼠标悬停在红色方块上以确认它代表驱动程序。

若要修复重载驱动程序,请参阅 Spark 驱动程序重载。

群集出现故障

集群很少出现故障,即使发生故障,原因也可能难以找到。 重启集群看看问题是否解决。 要检查日志中是否有任何可疑情况,请使用下面截图中高亮显示的事件日志和驱动程序日志标签页。

获取驱动程序日志

要访问工作节点日志,请启用 集群日志传递。 你也可以更改日志级别,这可能需要你的Databricks账户团队协助。