默认情况下,在创建流时,管道会将生成的查询写入 Delta 表,通常是具体化视图或流式处理表。 管道还提供了一项功能,允许你将数据写入各种数据接收端,甚至以编程方式将数据流式传输到任何可以使用 Python 写入的目标。
以下主题介绍管道中的汇聚功能。
| 主题 | Description |
|---|---|
| Lakeflow Spark 声明性管道接收器 | 将 sink API 与流配合使用,将管道转换的记录写入到受支持的外部数据接收器。 外部数据接收器包括 Unity 目录托管表和外部表,以及 Apache Kafka 或 Azure 事件中心等事件流服务。 |
| Python 自定义接收器 | 将 sink API 与 Python 自定义数据源配合使用,以写入任意数据存储。 |
| ForEachBatch 接收器 | 使用foreachBatch API 写入任意数据存储,并在单个流程中对数据执行其他转换或写入多个接收端。 |