通过

Delta Live Tables 版本 2022.37

  • 项目

2022 年 9 月 14 日至 22 日

这些功能和改进随增量实时表版本 2022.37 一起发布。

此版本使用的 Databricks Runtime 版本

通道：

  • 当前（默认）：Databricks Runtime 10.3.7
  • 预览：Databricks Runtime 11.0.5

此版本中的新功能和改进

  • 启动管道更新 API 请求现返回响应正文中的 request_id 字段。 request_id 是启动更新的原始请求的稳定标识符。 如果重试或重启更新，新更新将继承 request_id。
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新的 requests API 请求 (GET /pipelines/{pipeline_id}/requests/{request_id}) 返回与 request_id 关联的管道更新的状态。 该响应包括有关最新更新的信息。

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Python 代码现在可在 dlt.table() 或 dlt.view() 函数之外调用 spark.sql 操作，只要该操作不是从实时表中读取即可。

  • 事件日志条目现在包含 maturity 属性，用于指示事件架构的稳定性。 可能值为 stable、evolving 和 deprecated。 有关 Delta Live Tables 事件日志的详细信息，请参阅什么是 Delta Live Tables 事件日志？。

  • 当对流式处理表使用的源表进行不兼容更改时，错误消息会得到改进。

  • 现在在创建或编辑管道时可以在增量实时表 UI 中选择群集策略。 以前，为管道设置群集策略需要编辑管道的 JSON 设置。

  • 更快的管道启动速度。 此版本包含增强功能，可在管道启动时加快 SETTING_UP_TABLES 步骤的速度。

此版本中的 bug 修复

  • 此版本修复了一个 bug，该 bug 阻止增强型自动缩放在没有空闲群集实例可用时纵向扩展。