DELETE、UPDATE 和 MERGE 对 Delta Lake 表的操作可能写入的数据远多于它们更改的数据。 没有删除矢量,修改一行需要重写包含该行的整个 Parquet 文件。 如果一个小的更改涉及多个文件,写入阶段也会重写这些文件中所有未修改的行。
当最长的阶段输出较高且运行 DELETE、UPDATE 或 MERGE 时,使用此页面。 要检查该阶段的输出,请参见 高电平输出。
检查 SQL DAG 中的写入
要检查写入阶段写入的数据量:
滚动到职位页面顶部,点击 关联SQL查询:
SQL DAG 出现了。 如果未显示,请滚动查找:
找到写入节点,检查它写入了多少数据:
对于
DELETE或UPDATE,比较写入数据量与预期数据量。 如果操作写入的数据远超预期,可能是在重写数据:
对于
MERGE,合并节点会显示关于重写数据量的显式统计数据。
查看表格历史
要验证改写,请查看表历史中的操作指标。 对于 MERGE,请将 numTargetRowsCopied 与插入、更新和删除的行进行比较。 对于 DELETE 和 UPDATE,检查 numCopiedRows。 复制行数远大于更改行数,表示操作重写了未修改的数据。 请参阅 操作指标。
减少改写
如果操作重写大量数据,可以尝试以下方法:
- 调整
MERGE操作。 在匹配条件中加入已知约束以减少搜索空间。 有关其他合并调校方法,请参见 最佳实践:Delta Lake。