使用 Spark UI 诊断成本和性能问题

本指南将指导你了解如何使用 Spark UI 诊断成本和性能问题。 这是一个分步指南，也是实用的操作方法。 它不只是提供 Spark UI 中每个页面作用的说明，还会告诉你要查找的内容及其含义。 如果不熟悉驱动程序、辅助角色、执行程序、阶段和任务的概念，可能需要回顾 Spark 体系结构。

如果要查找各种优化工具的综合列表，请使用 Databricks 优化指南。 此 Spark UI 指南中引用了优化指南的各个部分。

使用本指南

要浏览指南，请使用每个页面中嵌入的链接转到下一步。 本指南按顺序包含以下步骤：

1. 使用作业时间线确定主要问题
2. 查看最长的阶段
3. 查找倾斜或溢写
4. 确定最长阶段是否受 I/O 限制
5. 查找缓慢阶段运行时的其他原因

现在就开始吧！

如何打开 Spark UI

1. 导航到群集的页面：

   

2. 单击“Spark UI”：

   

下一步

打开 Spark UI 后，接下来请查看事件时间线，了解有关管道或查询的详细信息。 请参阅作业时间线。