Lakeflow 声明性管道是在 SQL 和 Python 中创建批处理和流式处理数据管道的框架。 Lakeflow 声明性管道的常见用例包括从云存储(如 Amazon S3 和 Azure ADLS Gen2)和消息总线(例如 Apache Kafka、Amazon Kinesis、Azure EventHub 和 Apache Pulsar)的数据引入,以及增量批处理和流转换。
注释
Lakeflow 声明性管道需要 高级方案。 有关详细信息,请联系 Databricks 帐户团队。
本部分提供有关使用 Lakeflow 声明性管道的详细信息。 以下主题将帮助你入门。
主题 | DESCRIPTION |
---|---|
Lakeflow 声明式管道概念 | 了解 Lakeflow 声明性管道的高级概念,包括管道、流、流表和具体化视图。 |
教程 | 通过教程来获得使用 Lakeflow 声明性管道的动手操作经验。 |
开发管道 | 了解如何开发和测试用于创建用于引入和转换数据的流的管道。 |
配置管道 | 了解如何计划和配置管道。 |
监视管道 | 了解如何监视管道和排查管道查询问题。 |
开发人员 | 了解如何在开发 Lakeflow 声明性管道时使用 Python 和 SQL。 |