Spark 阶段高 I/O

某个阶段可能因为处理的数据超过了集群在可用时间内能读取、写入或混洗的数据量。 要修复 I/O 密集型阶段:

  • 减少该阶段处理的数据量。

  • 加快 Stage 的读写速度。

  • 增加计算容量。

在排除耗时最长的阶段中的 倾斜和溢出 后,使用本页。 阶段的输入/输出列显示该阶段是否受 I/O 限制,如果是,瓶颈是输入、输出还是混洗。

查看最长阶段的 I/O 列:

长阶段 I/O

什么是高输入/输出?

每个CPU核心的读写速度约为每秒3 MB。 要检查某阶段的I/O是否高,可以比较其每核心吞吐量与该速率:

  1. 找到该阶段I/O列中最高的值。

  2. 将该数值除以所有工作单元的CPU核心总数。

  3. 将结果除以以秒为单位的阶段持续时间。

如果结果大约是每秒 3 MB,则该阶段可能受 I/O 限制。

高输入

如果输入列较大,阶段会花费大量时间读取数据。 要查找阶段读取的是哪个表或哪些文件,请参见 识别 SQL DAG 中代价高昂的读取。 然后尝试以下方法加快阅读速度:

高输出

如果输出列很大,阶段会花大量时间写入数据。 试试以下方法:

高度随机排序

如果“Shuffle Read”或“Shuffle Write”列较大,该阶段会花大量时间在执行器之间 Shuffle 数据以进行连接或聚合。 为了减少洗牌时间,Databricks 建议将 spark.sql.shuffle.partitions 设置为 auto,使 Spark 根据查询计划和输入数据大小来设置洗牌分区数量。 参见 AQE 配置。

无高性能I/O

如果没有任何一个 I/O 列很大,该阶段速度慢是由其他原因造成的。 要找出原因,可以参见 Slow Spark 阶段,输入输出很少。