当查询将大型 Delta Lake 表连接到较小的过滤表时,过滤值要等到查询运行时才知道。 如果没有运行时剪枝,查询会扫描大表中的每一个文件,甚至是没有匹配行的文件。 动态文件剪枝解决了这个问题。 运行时,优化器会将连接一侧的过滤结果推送到Delta Lake表的扫描处,并跳过无法包含匹配行的文件。
动态文件剪枝默认启用。 你不需要更改查询内容才能受益。
当动态文件剪枝生效时
动态文件剪枝仅适用于Delta Lake表上的连接。 在MERGE声明中,它利用源的连接键值跳过目标文件,当合并条件将源列与目标列进行相等比较时。 在 UPDATE 和 DELETE 语句中,当条件包含进行相同类型比较的子查询时,它就适用。
在 MERGE、UPDATE 和 DELETE 语句中进行动态文件修剪需要启用 Photon 的计算资源。 对于 SELECT 语句,Photon 提供了更广泛且更可靠的动态文件剪枝功能。 没有 Photon,动态文件剪枝可能仍然适用于 SELECT 语句,具体取决于查询形状和执行计划。 请参阅什么是 Photon?。
动态文件剪枝对非分区表和基于非分区列的连接的性能提升最明显。 默认情况下,只有当连接中的大型 Delta Lake 表至少有 10 GB 且至少有 10 个文件时,它才会触发。 请参阅配置。
动态文件剪枝还能减少写冲突。 当 Delta Lake 在提交过程中检查冲突时,它会考虑被动态文件剪枝跳过的文件。 这减少了失败交易的数量。 请参阅 隔离级别和写入冲突。
最佳做法
动态文件修剪的性能效应与数据的聚类方式相关。 如果你连接的值分散在每个文件中,动态文件剪枝只能跳过少量文件。 为了帮助动态文件剪枝跳过更多文件,请遵循以下做法:
在你经常联接的列上使用 liquid clustering,这样匹配的行会集中在更少的文件中。
使用支持 Photon 的计算,其中
MERGE、UPDATE和DELETE语句需要它来实现动态文件剪枝。
配置
大多数工作负载不需要更改这些设置。 如果与较小的 Delta Lake 表的连接可从剪枝中受益,但低于默认大小或文件数阈值,可以考虑调整阈值。
以下 Apache Spark 配置属性控制动态文件剪枝:
| 属性 | 类型 | 默认 | Description |
|---|---|---|---|
spark.databricks.optimizer.dynamicFilePruning |
Boolean |
true |
可以开启或关闭动态文件剪枝功能。 |
spark.databricks.optimizer.deltaTableSizeThreshold |
Long |
10000000000 (10 GB) |
触发动态文件剪枝的连接中大型 Delta Lake 表的最小字节大小。 对于较小的表,扫描整个表通常比下推过滤条件更便宜。 要查找 Delta Lake 表的大小,可以运行 DESCRIBE DETAIL table_name 并检查 sizeInBytes 列。 |
spark.databricks.optimizer.deltaTableFilesThreshold |
Integer |
10 |
在触发动态文件剪枝的连接中,大型 Delta Lake 表的最小文件数。 如果表格文件少于这个阈值,动态文件剪枝就不会运行,因为对于只有几个文件的表格,动态文件剪枝可能不值得。 要查找Delta Lake表中的文件数量,运行 DESCRIBE DETAIL table_name 并检查该 numFiles 列。 |