共用方式為

Lakeflow 声明性管道

Lakeflow 声明性管道是在 SQL 和 Python 中创建批处理和流式处理数据管道的框架。 Lakeflow 声明性管道的常见用例包括从云存储(如 Amazon S3 和 Azure ADLS Gen2)和消息总线(例如 Apache Kafka、Amazon Kinesis、Azure EventHub 和 Apache Pulsar)的数据引入,以及增量批处理和流转换。

注释

Lakeflow 声明性管道需要 高级方案。 有关详细信息,请联系 Databricks 帐户团队。

本部分提供有关使用 Lakeflow 声明性管道的详细信息。 以下主题将帮助你入门。

主题 DESCRIPTION
Lakeflow 声明式管道概念 了解 Lakeflow 声明性管道的高级概念,包括管道、流、流表和具体化视图。
教程 通过教程来获得使用 Lakeflow 声明性管道的动手操作经验。
开发管道 了解如何开发和测试用于创建用于引入和转换数据的流的管道。
配置管道 了解如何计划和配置管道。
监视管道 了解如何监视管道和排查管道查询问题。
开发人员 了解如何在开发 Lakeflow 声明性管道时使用 Python 和 SQL。

详细信息