本部分介绍 Lakeflow 声明式管道的监控和可观测功能。
主题 | Description |
---|---|
使用 UI 进行监视 | 观察管道更新的进度和状态,并针对成功或失败发出警报。 查看流处理源(如 Apache Kafka 和自动加载器)的指标。 |
事件日志 | 使用 Lakeflow 声明性管道事件日志提取有关管道更新的详细信息,例如数据世系、数据质量指标和资源使用情况。 此外,请参阅 事件日志的架构。 |
查询历史记录 | 通过查看查询历史记录来检查和诊断查询性能。 |
自定义监视 | 定义在特定事件发生时使用事件钩子执行的自定义操作。 |
此外,还针对特定方案提供了故障排除主题。
主题 | Description |
---|---|
从流式处理检查点失败中恢复 Lakeflow 声明性管道 | 恢复具有无效或损坏的流式处理检查点的管道。 |
修复 Lakeflow 声明性管道中的高初始化时间 | 通过跨管道拆分和负载均衡流来修复管道的高初始化时间。 |