判断Spark是否重写了太多文件

DELETE、UPDATE 和 MERGE 对 Delta Lake 表的操作可能写入的数据远多于它们更改的数据。 没有删除矢量,修改一行需要重写包含该行的整个 Parquet 文件。 如果一个小的更改涉及多个文件,写入阶段也会重写这些文件中所有未修改的行。

当最长的阶段输出较高且运行 DELETE、UPDATE 或 MERGE 时,使用此页面。 要检查该阶段的输出,请参见 高电平输出。

检查 SQL DAG 中的写入

要检查写入阶段写入的数据量:

  1. 滚动到职位页面顶部,点击 关联SQL查询:

    暂存到 SQL

    SQL DAG 出现了。 如果未显示,请滚动查找:

    SQL DAG

  2. 找到写入节点,检查它写入了多少数据:

    • 对于 DELETE 或 UPDATE,比较写入数据量与预期数据量。 如果操作写入的数据远超预期,可能是在重写数据:

      写入统计信息

    • 对于 MERGE,合并节点会显示关于重写数据量的显式统计数据。

查看表格历史

要验证改写,请查看表历史中的操作指标。 对于 MERGE,请将 numTargetRowsCopied 与插入、更新和删除的行进行比较。 对于 DELETE 和 UPDATE,检查 numCopiedRows。 复制行数远大于更改行数,表示操作重写了未修改的数据。 请参阅 操作指标。

减少改写

如果操作重写大量数据,可以尝试以下方法:

  • 调整 MERGE 操作。 在匹配条件中加入已知约束以减少搜索空间。 有关其他合并调校方法,请参见 最佳实践:Delta Lake。