作业时间线

作业时间线是了解管道或查询的绝佳起点。 它概述了正在运行的内容、每个步骤的运行时间，以及是否一路上出现任何故障。

如何打开作业时间线

在 Spark UI 中，单击“ 作业 ”和 “事件时间线 ”，如以下屏幕截图中红色突出显示。 你将看到时间线。 此示例显示要添加的驱动程序和执行程序 0：

要查找的内容

以下各节介绍如何阅读事件时间线，以发现性能或成本问题的可能原因。 如果你注意到时间线中的任何一个趋势，则每个相应部分的末尾都包含指向提供指导的文章的链接。

作业失败或执行程序失败

下面是事件时间线中失败的作业和删除的执行程序的示例，该执行程序由红色状态指示。

如果看到失败的作业或执行程序失败，请参阅 “失败的作业”或“执行程序”已删除。

执行中的不足之处

查找一分钟或更多空白，如以下示例所示：

本示例有多个空白，其中一些由红色箭头突出显示。 如果你在时间线中看到差距，它们是否是一分钟以上？ 由于驱动程序协调工作，预计短间隙。 如果存在较长的间隔，它们是否位于管道中间？ 或者此群集是否持续运行，因此活动暂停会解释间隙？ 可以根据工作负荷的启动和结束时间来确定这一点。

如果在管道中间看到长时间无法解释的间隙，请参阅 Spark 作业之间的差距。

长作业

时间线是由一个或几个长的工作主导的吗？ 这些漫长的工作将是一些要调查的事情。 在以下示例中，工作负荷具有一个比其他作业长得多的作业。 这是调查的好目标。

单击最长的工作进行挖掘。 有关调查此长阶段的信息，请参阅 在 Spark 中诊断长作业。

许多小工作

我们在这里寻找的是一个时间线，由小工作主导。 它可能如下所示：

请注意所有微小的蓝色线条。 每个工作都是一个需要几秒钟或更少时间的小工作。

如果时间线大多是小型作业，请参阅 许多小型 Spark 作业。

上述任何内容都没有

如果时间线看起来与上述任何一样，下一步是确定最长的作业。 按工期对作业进行排序，然后单击最长作业说明中的链接：

进入页面以获取最长作业后，有关调查此长阶段的其他信息是在 Spark 中诊断长作业。