通过

Lakeflow 声明式流水线限制

以下是在开发管道时必须了解的 Lakeflow 声明性管道的限制：

  • Azure Databricks 工作区限制为 200 个并发管道更新。 单个管道可以包含的数据集数取决于管道配置和工作负荷复杂性。
  • Lakeflow 声明性管道数据集只能定义一次。 因此，在所有 Lakeflow 声明性管道中，它们只能作为单个操作的目标。 例外情况是使用追加流处理的流表，这使你可以从多个流源写入流表。 请参阅 使用多个流写入单个目标。
  • 标识列具有以下限制。 若要详细了解 Delta 表中的标识列，请参阅 在 Delta Lake 中使用标识列。
    • 标识列不支持用作 AUTO CDC 处理的目标表。
    • 在更新物化视图时，标识列可能会被重新计算。 因此，Databricks 建议仅在流式处理表中使用 Lakeflow 声明性管道中的标识列。
  • 从 Lakeflow 声明性管道发布的物化视图和流式处理表（包括由 Databricks SQL 创建的），只能由 Azure Databricks 客户端和应用程序访问。 为了使具体化视图和流表在外部可访问，可以使用 Lakeflow 的声明式管道 sink API 向外部 Delta 实例中的表写入数据。 请参阅 使用汇聚点通过 Lakeflow 声明性管道将记录流式传输到外部服务。
  • 运行和查询 Unity Catalog 管道所需的 Databricks 计算具有限制性。 请参阅发布到 Unity Catalog 的管道要求。
  • Delta Lake 的时间旅行查询仅支持流式表，而不支持具体化视图。 请参阅使用 Delta Lake 表历史记录。
  • 不能对 Lakeflow 声明性管道创建的具体化视图和流式处理表启用 Iceberg 读取 。
  • 不支持 pivot() 函数。 Spark 中的 pivot 操作需要预先加载输入数据以计算输出架构。 Lakeflow 声明性管道不支持此功能。