Databricks 提供 Lakeflow,一款端到端的数据工程解决方案,帮助数据工程师、软件开发者、SQL 开发者、分析师和数据科学家为下游分析、人工智能和运营应用提供高质量数据。 Lakeflow 是用于数据摄取、转换和编排的统一解决方案,包括 Lakeflow Connect、Lakeflow 管道、Lakeflow 设计器和 Lakeflow 作业。
Lakeflow Connect
Lakeflow Connect 通过提供连接到热门企业应用程序、数据库、云存储、消息总线和本地文件的连接器,简化了数据引入流程。 请参阅 Lakeflow Connect。
| 功能 / 特点 | Description |
|---|---|
| Lakeflow Connect | Lakeflow Connect 拥有连接器,可从数据库、企业应用、文件和流媒体源中导入数据。 选择全托管连接器以降低运维开销,或使用 SQL 和 Spark API,以便在管道和查询中访问更广泛的数据源。 |
Lakeflow 管道
Lakeflow 管道降低了生成和管理高效批处理和流式处理数据管道的复杂性。 Lakeflow 管道基于 Apache Spark™ 声明性管道(SDP)构建,它是 SQL 和 Python 中批处理和流式处理管道的声明性框架,在性能优化的 Databricks Runtime 上运行,并与它保持互操作。 管道自动协调流、接收器、流式处理表和具体化视图的执行。 请参见 Lakeflow 管道。
| 功能 / 特点 | Description |
|---|---|
| 流 | 流处理管道中的数据。 流 API 使用与 Apache Spark 和结构化流式处理相同的数据帧 API。 流可以使用流式处理语义写入流式处理表和接收器(例如 Kafka 主题),也可以使用批处理语义写入具体化视图。 |
| 流式处理表 | 流式处理表是 Delta 表,具有支持流式或增量数据处理的额外功能。 它充当管道中的一个或多个流的目标。 |
| 实例化视图 | 具体化视图是一种具有缓存结果的视图,可以更快地进行访问。 具体化视图充当管道的目标。 |
| 接收器 | 管道支持作为目标的外部数据接收器。 这些接收器可以包括事件流式处理服务,如 Apache Kafka 或 Azure 事件中心、由 Unity 目录管理的外部表或 Python 中定义的自定义接收器。 |
Lakeflow 设计器
Lakeflow Designer 是Azure Databricks中的视觉数据准备工具。 使用拖放画布或自然语言提示生成和探索转换工作流。 所有设计器工作流都由由 Unity 目录管理的生产就绪代码提供支持。 请参阅 Lakeflow 设计器。
| 功能 / 特点 | Description |
|---|---|
| 视觉数据准备 | 使用拖放画布生成数据转换工作流。 |
| 引入数据 | 在 Lakeflow 设计器中,将任何可通过 Azure Databricks 访问的数据导入到可视化数据准备中。 |
| 内置运算符 | 使用内置运算符筛选、聚合、联接和重塑数据。 |
Lakeflow 任务
Lakeflow 作业为任何数据和 AI 工作负载提供可靠的编排和生产监控。 作业可以包含一个或多个任务,这些任务运行笔记本、管道、托管连接器、SQL 查询、机器学习训练以及模型部署和推理。 作业还支持自定义控制流逻辑,例如使用 if/else 语句进行分支,以及使用 for each 语句进行循环。 请参阅 Lakeflow Jobs。
| 功能 / 特点 | Description |
|---|---|
| 作业 | 作业是协调的主要资源。 它们表示你想要按计划执行的过程。 |
| 任务 | 作业中的特定工作单元。 在作业中可以执行的任务类型有多种,为您提供了多种选项。 |
| 作业中的控制流 | 控制流任务允许你控制是运行其他任务,还是运行任务的顺序。 |
用于 Apache Spark 的 Databricks Runtime
Databricks Runtime 是运行 Spark 工作负载(包括批处理和流式处理)的可靠且性能优化的计算环境。 Databricks Runtime 提供 Photon(一种高性能的 Databricks 原生矢量化查询引擎),以及各种基础结构优化,例如自动缩放。 可以通过将 Spark 程序生成为笔记本、JAR 或 Python wheel,在 Databricks Runtime 上运行 Spark 和结构化流式处理工作负载。 请参阅 适用于 Apache Spark 的 Databricks Runtime。
| 功能 / 特点 | Description |
|---|---|
| Databricks 上的 Apache Spark | Spark是Databricks数据+人工智能平台的核心。 |
| 结构化数据流 | 结构化流式处理是用于流数据的 Spark 准实时处理引擎。 |
Delta 实时表(DLT)出了什么问题?
如果你熟悉增量实时表(DLT),请参阅增量实时表(DLT)发生了什么情况?
其他资源
数据工程概念 介绍了 Azure Databricks 中的数据工程概念。
Delta Lake 是经过优化的存储层,为 Azure Databricks 中湖屋中的表提供了基础。
数据工程最佳做法 介绍了 Azure Databricks 中数据工程的最佳做法。
Databricks 笔记本 是用于协作和开发的常用工具。
Databricks SQL 介绍如何在 Azure Databricks 中使用 SQL 查询和 BI 工具。
machine learning on Azure Databricks 介绍了构建机器学习解决方案。