通过加载和转换数据、应用数据质量检查并将结果写入目标表来生成 Lakeflow 管道。 以下主题介绍生成和运行管道所涉及的任务。
若要了解管道（数据集、流和管道图）背后的声明性概念，请参阅什么是 Lakeflow 管道？ 有关分步演练，请参阅 教程：使用变更数据捕获生成 ETL 管道。
| Topic | Description |
|---|---|
| 在 Lakeflow 管道编辑器中开发 | 在编辑器中借助管道图、数据预览和选择性执行功能编写、运行和调试管道。 |
| 管理标识和特权 | 控制运行管道的标识，以及谁可以创建、运行、刷新和查看管道及其输出。 |
| 加载数据 | 将来自云对象存储和流消息总线的数据导入到您的数据管道中。 |
| 转换数据 | 应用转换、联接和聚合来生成派生数据集。 |
| 流式表的全量刷新 | 重新处理所有源数据以重建流式表。 |
| 数据质量 | 验证具有期望的记录，并控制记录失败时会发生什么情况。 |
| 写入数据集 | 将管道处理结果写入 Apache Kafka 和 Azure 事件中心 等接收器，并使用数据流将数据写入流式目标。 |