驱动程序协调集群中的所有工作。 它解释每一个命令,规划每个查询,并在执行器上调度任务。 当驱动程序负载过重时,无法快速分配工作,执行器只能闲置,而你仍然为它们付费。 这通常表现为作业时间线上的较长空档和响应缓慢或无响应的集群,尽管工作器并不忙碌。
确认驱动程序在集群指标中负载较重而工作节点没有后,使用该页面。 要检查这一点,请查看 驱动程序过载。 如果驱动程序负载不重,这些间隙是由其他原因造成的。 请查看《Spark 作业之间的间隙》中的其他原因,并利用本指南的其他页面来诊断问题。 请参见 使用 Spark UI 诊断成本和性能问题。
常见原因
司机通常因以下原因之一而超载:
并发操作过多。 集群上同时运行过多的流、查询或 Spark 作业。 例如,有些工作负载使用线程同时运行多个 Spark 作业。 这是最常见的原因。
非Spark代码。 不使用 Spark 的代码,比如调用原生 Python 函数的 Python 循环,会在驱动程序上运行,让驱动保持忙碌,而工作器节点则处于空闲状态。 要检查你的代码是否能在 Spark 中运行,请参见 非 Spark 代码的执行。
附加了许多笔记。 驱动程序维护连接到集群的每个 Notebook 的状态信息。 许多连接的笔记本即使不运行命令,也会增加驱动程序的负载。
修复过载的驱动程序
为了减轻驾驶员的负担,可以尝试以下方法:
增加扬声器单元尺寸。 驱动程序节点类型默认与工作节点相同。 在计算配置的 高级性能 部分选择更大的驱动器类型。 Databricks建议先将驱动程序节点规格加倍,并检查这对作业的影响。 参见 驱动程序类型。
减少并发。 如果同时运行的操作太多,就减少集群上的流、查询或多线程 Spark 作业。
将负载分散到多个集群。 将部分并发工作负载移到独立的计算资源上,这样每个驱动协调的工作量更少。
移动非Spark代码。 如果驱动程序忙于运行非 Spark 代码,更大的驱动程序对闲置的工作器并没有帮助。 重写代码以使用Spark,或者在 无服务器计算上运行,这样你就不用为空闲时间付费。 重写代码:
如果你是 Spark 新手,可以参考 教程:使用 Apache Spark DataFrames 加载和转换数据。
如果代码使用Python,请参考PySpark基础知识。
如果代码用pandas,就用 Spark上的pandas API。
分离未使用的笔记。 把你不用的Notebook从集群上分离出来,以减少驱动保持的状态。