先前称为 Delta Live Tables (DLT) 的产品现已更新名称为 Lakeflow 管道。 如果以前使用过 DLT,则无需迁移即可使用 Lakeflow 管道:代码仍将有效。 可以进行一些更改,以便更好地利用 Lakeflow 管道(现在和将来),以及引入与 Apache Spark 声明性管道(从 Apache Spark™ 4.1 开始)的兼容性。
在 Python 代码中,引用import dlt可以被替换为from pyspark import pipelines as dp,此外这还需要进行以下更改:
-
@dlt替换为@dp。 -
@table修饰器现在用于创建流式处理表,新的@materialized_view修饰器用于创建具体化视图。 -
@view现为@temporary_view。
有关 Python API 名称变更以及 Lakeflow 管道与 Apache Spark 声明式管道之间差异的更多详细信息,请参阅 pipelines Python 参考中的 @dlt 怎么了?
注释
Databricks 中仍有一些对 DLT 名称的引用。 Lakeflow 管道的经典 SKU 仍以开头 DLT,并且名称中带有 dlt 的事件日志架构尚未更改。 仍可使用名称中使用的 dlt Python API,但 Databricks 建议移动到新名称。