Lakeflow 声明性管道

Lakeflow 声明性管道是在 SQL 和 Python 中创建批处理和流式处理数据管道的框架。 Lakeflow 声明性管道的常见用例包括从云存储(如 Amazon S3 和 Azure ADLS Gen2)和消息总线(例如 Apache Kafka、Amazon Kinesis、Azure EventHub 和 Apache Pulsar)的数据引入,以及增量批处理和流转换。

注释

Lakeflow 声明式管道需要 高级套餐。 有关详细信息,请联系 Databricks 帐户团队。

本部分提供有关使用 Lakeflow 声明性管道的详细信息。 以下主题将帮助你入门。

主题 Description
Lakeflow 声明性管道概念 了解 Lakeflow 声明性管道的高级概念,包括管道、流、流表和具体化视图。
教程 跟随教程学习,获得使用 Lakeflow 声明性管道的实际操作经验。
开发管道 了解如何开发和测试用于创建用于引入和转换数据的流的管道。
配置管道 了解如何计划和配置管道。
监视管道 了解如何监视管道并对管道查询进行故障排除。
开发 人员 了解如何在开发 Lakeflow 声明性管道时使用 Python 和 SQL。

详细信息