本文介绍如何访问与 Lakeflow 声明性管道运行关联的查询历史记录和查询配置文件。 可以使用此信息来调试查询、识别性能瓶颈和优化管道运行。
查看管道更新的查询历史记录
对于触发和连续的所有 ETL 管道,在更新具体化视图和流式处理表时, 查询历史记录 中会显示一条查询语句。 每个更新目标表的流执行都有一个 REFRESH
语句。 可以使用查询历史记录页上的 “计算 ”筛选器来仅显示使用 Lakeflow 声明性管道计算处理的查询。 请参阅 查询历史记录 ,了解有关查询历史记录 UI 的详细信息。
若要访问查询详细信息,请执行以下步骤:
单击
边栏中的查询历史记录。
从 “计算 ”下拉列表筛选器中选择 Lakeflow 声明性管道选项,以仅显示管道。
还可以按查询或更新的用户、时间、状态和其他功能进行筛选。
单击查询语句可查看摘要详细信息,例如查询持续时间和聚合指标。 请参阅 “查看查询详细信息”。
单击“ 查看查询配置文件 ”打开查询配置文件。 有关查询配置文件的详细信息,请参阅查询配置文件。 可以在管道运行时或运行完成后打开查询配置文件。
(可选)使用 “查询源 ”部分中的链接打开相关的管道监视页。
从管道监视页访问查询历史记录
在 管道监视页中,单击屏幕底部附近的 “性能 ”选项卡,访问管道的历史记录。 可以通过单击管道运行时或运行完成后的语句来查看查询详细信息面板和配置文件。
从 Lakeflow 管道编辑器访问查询历史记录
编辑管道时,可以从底部窗格的“性能”选项卡访问查询历史记录。 如果首先选择一个表,则查询历史记录的范围限定为该表。
列表中的每个项都对应于代码中定义的 流 的执行。 除非多个流写入同一个表,否则每个表有一个语句。
- 可以按数据集名称筛选此列表,以查找写入该表的流的语句。
- 此列表最多显示 1,000 个语句。 如果管道具有更多语句,则可以单击“ 查看查询历史记录”中的所有 语句,以查看“查询历史记录”页上的完整语句列表,按最新的管道运行 ID 进行筛选。
- 默认情况下,可以看到读取和写入的持续时间和指标。 可以点击列表中的 REFRESH 语句以进一步查看流的指标和查询概要信息。
- 在管道运行时或在运行完成后,指标和查询配置文件都可用。
若要详细了解此视图中提供的详细信息,请参阅 “查看查询详细信息”。
局限性
- 预配和排队时间不可用。