查询加速策略(预览版)
适用于:✅Azure 数据资源管理器
外部表是引用存储在 Kusto 数据库外部的数据的架构实体。 由于各种因素(例如通过网络调用从存储提取数据、缺少索引等),对外部表运行的查询可能比对引入的数据运行的查询的性能更低。 查询加速允许在外部 delta 表的基础上指定一个策略。 此策略定义了一些天数来加速高性能查询的数据。
在 Azure Data Lake Store Gen2 或 Azure Blob 存储外部表上,Azure 数据资源管理器支持查询加速。
限制
- 外部表中的列数不能超过 900。
- 在预览期间,对具有分区的加速外部增量表进行查询的性能可能无法达到最佳。
- 此功能假定增量表具有静态高级功能,例如列映射不会更改,分区不会更改,等等。 若要更改高级功能,请先禁用策略,并在进行更改后重新启用策略。
- 增量表架构的更改也必须与相应的
.alter
外部增量表架构同步更新,如果发生中断性架构更改,可能会导致加速从头开始。 - 分区不支持基于索引的修剪。
- 不会缓存压缩大小超过 6 GB 的 Parquet 文件。
- 使用模拟身份验证的外部表不支持查询加速。
已知问题
- 使用 OPTIMIZE 函数优化的外部 delta 表中的数据将需要重新加速。
- 如果在 delta 中频繁地运行 MERGE/UPDATE/DELETE 操作,基础 parquet 文件可能会被重写和更改,Kusto 将跳过对此类文件的加速,从而导致在查询期间进行检索。
- 系统假定 delta 表目录下的所有项目对所选用户具有相同的访问级别。 在 delta 表目录下具有不同访问权限的不同文件可能会导致意外行为。