引入批处理策略

概述

适用于：✅Azure 数据资源管理器

在排队引入过程中，服务通过在引入前一起批处理较小的流入量数据块，来针对吞吐量进行优化。 批处理减少了排队引入过程消耗的资源，并且不需要资源在引入后优化非批处理引入产生的小型数据分片。

在引入前执行批处理的缺点是强制延迟。 因此，从请求数据引入到准备好查询的数据的端到端时间更长。

定义 IngestionBatching 策略时，需要在吞吐量优化与时间延迟之间找到平衡。 此策略适用于排队的引入。 它定义将小型 Blob 一起批处理时允许的最大强制延迟。 若要详细了解如何使用批处理策略命令和优化吞吐量，请参阅：

• 引入批处理策略命令参考
• 引入最佳做法 - 针对吞吐量进行优化

密封批

批量引入的最佳大小为大约 1 GB 的未压缩数据。 具有少得多的数据的 Blob 的引入是次佳选择，因此在排队的引入中，服务将一起批处理小型 Blob。

以下列表显示了密封批的基本批处理策略触发器。 满足第一个条件时，将密封并引入批：

• Size：达到或超过批大小限制
• Count：已达到批文件编号限制
• Time：批处理时间已过期

可以在数据库或表上设置 IngestionBatching 策略。 默认值如下：最大延迟时间为 5 分钟，500 项，总大小为 1 GB。

以下列表显示了密封与单个 Blob 引入相关的批的条件。 满足条件时，会密封并引入批：

• SingleBlob_FlushImmediately：引入单个 blob，因为设置了 'FlushImmediately'
• SingleBlob_IngestIfNotExists：引入单个 blob，因为设置了'IngestIfNotExists'
• SingleBlob_IngestByTag：引入单个 blob，因为设置了'ingest-by'
• SingleBlob_SizeUnknown：引入单个 blob，因为 blob 大小未知

如果设置了 SystemFlush 条件，则触发系统刷新时将密封批。 设置 SystemFlush 参数后，系统会刷新数据，例如由于数据库缩放或系统组件的内部重置。

默认值和限制

使用引入批处理策略控制端到端延迟的最有效方法是根据延迟要求的上限在表或数据库级别更改其时间边界。 数据库级别策略会影响该数据库中未定义表级策略的所有表，以及任何新创建的表。

批数据大小

已针对未压缩的数据设置批处理策略数据大小。 对于 Parquet、AVRO 和 ORC 文件，根据文件大小计算估算值。 对于压缩数据，按以下准确度降序计算未压缩的数据大小：

1. 如果在“引入源”选项中提供了未压缩的大小，则使用该值。
2. 使用 SDK 来引入本地文件时，会检查 zip 存档和 gzip 流，以评估其原始大小。
3. 如果以前的选项未提供数据大小，则会对压缩数据大小应用一个因子，以估计未压缩的数据大小。

批处理延迟

延迟可能是许多原因造成的，可以使用批处理策略设置处理这些原因。