监视 Lakeflow 声明性管道

本部分介绍 Lakeflow 声明式管道的监控和可观测功能。

主题 Description
使用 UI 进行监视 观察管道更新的进度和状态,并针对成功或失败发出警报。 查看流处理源(如 Apache Kafka 和自动加载器)的指标。
事件日志 使用 Lakeflow 声明性管道事件日志提取有关管道更新的详细信息,例如数据世系、数据质量指标和资源使用情况。
此外,请参阅 事件日志的架构
查询历史记录 通过查看查询历史记录来检查和诊断查询性能。
自定义监视 定义在特定事件发生时使用事件钩子执行的自定义操作。

此外,还针对特定方案提供了故障排除主题。

主题 Description
从流式处理检查点失败中恢复 Lakeflow 声明性管道 恢复具有无效或损坏的流式处理检查点的管道。
修复 Lakeflow 声明性管道中的高初始化时间 通过跨管道拆分和负载均衡流来修复管道的高初始化时间。