使用 Spark UI 诊断成本和性能问题

当流水线或查询运行时间超过预期或成本高时,仅凭代码往往难以看出原因。 Spark 界面显示集群实际操作内容:哪些作业运行、每个阶段耗时多久、数据传输量以及任务失败的地方。 本指南介绍了Spark界面中的模式,并解释了每个模式接下来该阅读哪一页。 如果你不熟悉 Driver、Worker、Executor、阶段和任务的概念,开始前请先复习一下 Spark 架构。

何时使用本指南

当运行在集群上的工作负载出现以下任何症状时,请使用本指南:

  • 作业、流水线或查询比预期或比以前耗时更长。

  • 对于其处理的数据量而言,工作负载的成本高于预期。

  • 作业或执行程序失败,错误信息无法指出原因。

使用本指南

先从工作时间线开始。 时间线显示了工作量的整体形态,每个模式都链接到诊断该模式的页面。 请点击每页末尾的链接,逐步阅读指南。 要诊断运行缓慢的工作负载,请按顺序执行以下步骤:

  1. 使用作业时间线确定主要问题

  2. 查看最长的阶段

  3. 查找倾斜或溢写

  4. 确定最长阶段是否受 I/O 限制

  5. 查找慢阶段运行时 的其他原因

如果作业时间线显示失败任务、工作之间有较长间隔或有许多小任务,请跳过剩余步骤,并通过时间线页面上的链接进入该模式对应的页面。

如何打开 Spark UI

  1. 访问群集页面:

    导航到“计算”

  2. 单击“Spark UI”:

    导航到 SparkUI

后续步骤

接下来,查看活动时间表,了解你的流水线或查询信息。 请参阅 作业时间线。