Lakeflow Spark 声明性管道中的接收器

默认情况下,在创建流时,管道会将生成的查询写入 Delta 表,通常是具体化视图或流式处理表。 管道还提供了一项功能,允许你将数据写入各种数据接收端,甚至以编程方式将数据流式传输到任何可以使用 Python 写入的目标。

以下主题介绍管道中的汇聚功能。

主题 Description
Lakeflow Spark 声明性管道接收器 sink API 与流配合使用,将管道转换的记录写入到受支持的外部数据接收器。 外部数据接收器包括 Unity 目录托管表和外部表,以及 Apache Kafka 或 Azure 事件中心等事件流服务。
Python 自定义接收器 sink API 与 Python 自定义数据源配合使用,以写入任意数据存储。
ForEachBatch 接收器 使用foreachBatch API 写入任意数据存储,并在单个流程中对数据执行其他转换或写入多个接收端。

详细信息