什么是 Lakeflow Connect？

Lakeflow Connect 提供连接器，用于从本地文件、流行的企业应用、数据库、云存储、消息总线等中导入数据。 本页概述了 Lakeflow Connect 可提高 ETL 性能的一些方法。 它还涵盖常见用例和受支持的引入工具范围，从完全托管的连接器到完全自定义的框架。

灵活的服务模型

Lakeflow Connect 为企业应用程序、云存储、数据库、消息总线等提供了广泛的连接器。 它还使你能够灵活地在以下各项之间进行选择：

使用核心 Databricks 工具进行统一

Lakeflow Connect 使用核心 Databricks 功能提供全面的数据管理。 例如，它通过 Unity Catalog 提供治理、通过 Lakeflow Job 提供业务流程编排，并对您的管道进行整体监控。 这有助于组织管理数据安全、质量和成本，同时将引入过程与其他数据工程工具统一。 Lakeflow Connect 基于开放的数据+人工智能平台，具备充分灵活性，可以整合您偏好的第三方工具。 这可确保定制解决方案与现有基础结构和未来的数据策略保持一致。

快速、可扩展的摄取

Lakeflow Connect 使用增量读取和写入来实现高效的引入。 当与 下游增量转换结合使用时，这可以显著提高 ETL 性能。

常见用例

客户引入数据以解决其组织最具挑战性的问题。 示例用例包括：

ETL 堆栈各层

某些连接器在 ETL 堆栈的一个级别运行。 例如，Databricks 为 Salesforce 等企业应用程序提供完全托管的连接器，以及SQL Server等数据库。 其他连接器在 ETL 堆栈的不同层上运行。 例如，可以在 Lakeflow 管道中使用标准连接器来获得更多自定义选项。 同样，可以选择从 Apache Kafka、Amazon Kinesis 和 Apache Pulsar 流式传输数据的自定义级别。

Databricks 建议从最托管层开始。 如果它不满足你的要求（例如，如果它不支持数据源），请下拉到下一层。

下表描述了产品的摄取层级：

SQL 和 Spark API

除了托管连接器外，Databricks 还提供可自定义的 SQL 和 Spark API，用于从云对象存储和消息总线摄取数据。 参见 使用 SQL 和 Spark API 进行 Ingest。

通过文件上传创建或修改表（添加数据 UI）

可以引入驻留在本地网络上的文件、上传到卷的文件或从 Internet 位置下载的文件。 请参阅使用文件上传创建或修改表。

DIY 引入

Databricks 提供一个常规计算平台。 因此，可以使用 Databricks 支持的任何编程语言（如Python或Java）创建自己的引入连接器。 还可以导入和使用常用的开放源代码连接器库，例如数据加载工具、Airbyte 和 Debezium。

引入替代项

Databricks 建议引入大多数用例，因为它可缩放以适应数据量大、低延迟查询和第三方 API 限制。 将数据从源系统引入到 Azure Databricks 可能会导致数据重复，并随着时间的推移变得过时。 如果不想复制数据，可以使用以下工具：