倾斜和溢出是导致单阶段运行时间远超预期的最常见原因中的两个。 两者都会出现在阶段页面,并附带可尝试的修复方法。
在打开任务中最长阶段的页面后,使用此页面。 要找到该阶段,请参见 Spark 中诊断长时间运行的作业。 如果该阶段只有一个任务,请参见只有一个任务的 Long Spark 阶段。
泄漏
当 Spark 执行内存不足时,就会发生溢写,而 Spark 会将执行内存用于洗牌、连接、排序和聚合。 Spark随后将数据从内存写入磁盘,这可能成本较高。 溢写最常见于数据重分区过程中。
先检查舞台上是否有洒落物。 赛段页面顶部的赛段详情显示了赛段发生溢出时的统计数据:
阶段细节还包括其他指标,如峰值执行内存。 有关这些及其他阶段指标的详细信息,请参见Apache Spark文档中的 阶段详情 。
如果没有溢出统计数据,则该阶段无溢出。 如果舞台有些漏光,可以尝试以下方法:
使用自动优化的随机播放。 将
spark.sql.shuffle.partitions=auto设置为相应值,以便 Spark 根据查询计划和输入数据大小选择洗牌分区数量。 参见 AQE 配置。减少内存中存储的数据。 减少查询处理的行数或列数,或大列(如字符串、数组、映射和结构体)的大小。 请参阅 DATA_SPILL .
增加执行程序内存。 总执行器内存决定了在 Spark 将其溢写到磁盘之前,内存中能容纳多少数据。 使用内存更多的实例。 对于涉及跨多个表联接的复杂批量 ETL,使用更少但更大的工作节点,以减少数据重组量。 参见 复杂批处理ETL。
限制流式批次大小。 如果阶段属于结构化流查询,限制输入速率,避免大批量的微批量导致溢写。 请参阅在 Azure Databricks 上配置结构化流式处理批大小。
偏斜
数据倾斜是指某项或少数任务耗时远长于其他任务。 其他核心而此时处于空闲状态,而这些任务仍在执行,导致集群利用率低,工作时间变长。
要检查偏差,请向下滚动到 汇总指标。 比较 Max 持续时间和第75百分位的持续时间。 下图显示了一个健康阶段,75百分位和 Max 值相同:
如果最大持续时间超过第75百分位 50% 或更多,阶段可能存在偏斜。 要解决偏斜问题,可以尝试以下方法:
检查AQE是否能处理偏斜。 如果倾斜阶段属于 排序合并连接 或洗牌哈希连接的一部分,自适应查询执行(AQE)会自动拆分倾斜分区,但仅当分区超过其两个大小阈值时才会被拆分。 广播连接从不进行倾斜优化,连接类型决定了AQE可以优化哪一侧。 请参阅 AQE 为何未检测到我的数据倾斜?
调整AQE偏斜阈值。 如果偏斜分区小于阈值,则调整
spark.sql.adaptive.skewJoin.skewedPartitionFactor和spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes。 参见 动态处理倾斜连接。对倾斜键加盐或进行预聚合。 如果连接或聚合中少数几个关键值承载了大部分数据,则在倾斜键后附加一个随机桶后缀,然后分组并分两阶段进行聚合。 参见 处理数据倾斜。
将源表聚类。 如果倾斜来自存储表的布局方式,可以使用 Liquid Clustering,这适用于数据偏斜较重的表。 请参阅对表使用 liquid 聚类分析。
重新平衡输出分区。 如果 Skewed Stage 写表,使用
REBALANCE提示。 Spark 会将偏斜的输出分区拆分,确保没有分区太大。 如果没有启用AQE,Spark会忽略这个提示。 参见 分区提示。
无倾斜或溢出
如果阶段没有数据倾斜或溢写,检查它是否受 I/O 限制。 要返回职位页面,请滚动到阶段页面顶部,点击关联职位 ID:
然后查看 Spark阶段高I/O。