Spark 界面中的作业时间线显示哪些作业运行、每个作业耗时多久,以及是否有作业或执行器失败。 当流水线或查询变慢或成本高昂时,先从作业的时间线开始。 时间线中的模式决定了接下来应阅读本指南的哪一页。
在调查开始时使用此页面,在你还不确定问题是故障、闲置时间、一个长作业还是多个短作业之前。 要打开 Spark UI,请参见 “如何打开 Spark UI”。
如何打开作业时间线
在 Spark 界面中,点击 Jobs,然后点击 Event Timeline,正如下面截图中红色高亮显示的那样。 示例时间线显示了驱动程序和执行器0被添加的时间:
需注意的要点
以下章节描述了事件时间线中的模式,指向性能或成本问题的原因。 每个部分结尾都附有指向诊断该模式页面的链接。
注释
一个作业从提交的那一刻起就显示为运行,而不是从其第一个任务开始时。 当你并行提交作业时,例如使用多个线程和 Futures,所有作业看起来会同时开始。 这是预料之中的,单凭这并不意味着有问题。
作业失败或执行器失败
在事件时间线中,失败的作业和被移除的执行者显示为红色状态,例如:
如果时间轴显示失败作业或已移除执行器,请参见 失败作业或已移除执行器。
执行中的不足之处
寻找一分钟或更长时间的间隔,例如:
这个例子有几个空隙,红色箭头突出显示其中几个。 在驱动程序协调工作时,预计会出现短暂中断。 当流水线中间出现一分钟或更长时间的间隙时,需要进行调查。 如果集群持续运行,间隔可能是工作负载之间的暂停。 要区分,可以比较这些空档和你的工作时段开始和结束的时间。
如果时间线显示管道中间存在长时间且无法解释的空档,请参见 “Spark 作业之间的空档”。
长作业
检查一下是否只有一两个长任务占据时间线。 在这个例子中,一项工作比其他工作耗时更长,因此这是需要调查的那项工作:
要调查一项耗时较长的作业,点击它,然后参阅 在 Spark 中诊断耗时较长的作业。
许多小工作
寻找以小型工作为主的时间线,例如:
每一条细蓝线都是一项只需几秒钟或更短的小型工作。
如果时间线显示大多是小型作业,可以参考 “许多小型 Spark 作业”。
以上都不是
如果时间线与上述任何模式不符,就找持续时间最长的工作。 按持续时间排序工作,然后点击最长工作描述中的链接:
打开最长作业的页面后,查看其最长的阶段。 参见 Spark 中的“诊断长时间运行的作业”。