什么是预测性 I/O?

预测I/O是一组Azure Databricks优化,可以加快数据的读取和更新速度:

  • 加速读取 可加快选择性查询的速度,否则这类查询扫描的数据量会远大于返回的数据量。

  • 加速更新 减少了当更新、删除或合并仅更改文件中的少数几行数据时重写的数据量。

预测性 I/O 专用于 Azure Databricks 上的 Photon 引擎。 请参阅什么是 Photon?。

当预测 I/O 生效时

Predictive I/O 自动运行。 不要为单个查询开启它。 受益:

预测 I/O 也取代了 Bloom 过滤器索引。 请参阅 Bloom 筛选器索引(已弃用)。

使用预测输入/输出加速读取

预测性 I/O 用于提高支持的计算类型上所有操作的数据扫描和筛选性能。

重要

无服务器和专业类型的 SQL 仓库以及运行 Databricks Runtime 11.3 LTS 及更高版本的 Photon 加速群集支持预测性 I/O 读取。

预测I/O通过应用深度学习技术提升扫描性能:

  • 确定最有效的访问模式来读取数据,并只扫描真正需要的数据。

  • 消除不需要用于生成查询结果的列和行的解码。

  • 计算选择性查询中的搜索条件与某个行匹配的概率。 查询运行时,预测 I/O 利用这些概率预测下一个匹配行出现的位置,并仅从云存储读取该数据。

使用预测输入/输出加速更新

所有在这些支持 Photon 的计算类型上启用删除向量的表,都会自动使用用于更新的预测 I/O:

  • 无服务器 SQL 仓库。

  • Pro SQL 仓库。

  • 运行 Databricks Runtime 14.0 及更高版本的群集。

注意

Databricks Runtime 12.2 LTS 及更高版本支持预测性 I/O 更新,但 Databricks 建议使用 14.0 及更高版本以获得最佳性能。

可以通过设置一个 Delta Lake 表属性来启用对 Delta Lake 表上向量删除的支持。 你可以在创建表时启用删除向量,或者修改现有表,例如:

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

警告

在 Databricks Runtime 14.1 及更高版本中,你可以将删除向量表功能删除以实现与其他 Delta 客户端的兼容性。 请参阅删除 Delta Lake 表功能并降级表协议。

预测I/O利用删除向量加快更新,减少Delta Lake表数据修改时整个文件重写的频率。 预测性 I/O 会优化 DELETE、MERGE 和 UPDATE 操作。

当更新或删除任何记录时,预测性 I/O 不会重写数据文件中的所有记录,而是使用删除向量来指示记录已从目标数据文件中删除。 补充数据文件用于表明已更新。

对表的后续读取通过将记录的更改应用于最新的表版本来解析当前表状态。

重要

预测性 I/O 更新与删除向量具有相同的所有限制。 在Databricks Runtime 12.2 LTS及更高版本中,以下限制适用:

  • 启用了删除矢量的表不支持 OpenSharing。
  • 无法为存在删除向量的表生成清单文件。 运行 REORG TABLE ... APPLY (PURGE) 并确保没有任何并发写入操作正在运行,以生成清单。
  • 无法为启用了删除向量的表以增量方式生成清单文件。