本部分包含针对 Lakeflow 声明性管道开发人员的参考和说明。
在 Lakeflow 声明式管道中,数据加载和转换通过定义流式表和物化视图的查询实现。 若要实现这些查询,Lakeflow 声明性管道支持 SQL 和 Python 接口。 由于这些接口为大多数数据处理用例提供等效的功能,管道开发人员可以选择他们最熟悉的接口。
Python 开发
使用 Python 代码创建 Lakeflow 声明性管道。
主题 | DESCRIPTION |
---|---|
使用 Python 开发管道代码 | 概述如何在 Python 中开发 Lakeflow 声明性管道。 |
Lakeflow 声明性管道的 Python 语言参考 | Python dlt 模块的参考文档。 |
管理 Lakeflow 声明性管道的 Python 依赖项 | 有关使用 Lakeflow 声明性管道管理 Python 库的说明。 |
从 Git 文件夹或工作区文件导入 Python 模块 | 有关使用 Azure Databricks 中存储的 Python 模块的说明。 |
SQL 开发
使用 SQL 代码创建 Lakeflow 声明性管道。
主题 | DESCRIPTION |
---|---|
使用 SQL 开发管道代码 | 概述如何在 SQL 中开发 Lakeflow 声明性管道。 |
Lakeflow 声明性管道 SQL 语言参考 | Lakeflow 声明性管道的 SQL 语法参考文档。 |
其他开发主题
以下主题介绍了开发 Lakeflow 声明性管道的其他方法。
主题 | DESCRIPTION |
---|---|
将 Lakeflow 声明性管道转换为 Databricks 资产捆绑项目 | 将现有管道转换为捆绑包,这样就可以在源代码控制的 YAML 文件中管理数据处理配置,以便更轻松地将维护和自动部署部署到目标环境。 |
在本地开发环境中开发 Lakeflow 声明性管道代码 | 本地开发 Lakeflow 声明性管道代码的选项概述。 |