DLT 版本 2023.11

2023 年 3 月 20 - 24 日

在 2023.11 版本的 DLT 中发布了这些功能和改进。

此版本使用的 Databricks Runtime 版本

渠道:

  • CURRENT (默认值):Databricks Runtime 11.3.6
  • 预览版:Databricks Runtime 12.1.2

此版本中的新功能和改进

  • 现在,可以使用电子邮件通知获取管道更新的实时状态。 可以在以下情况下配置一个或多个电子邮件地址以接收通知:

    • 管道更新成功完成,失败并出现可重试错误,或失败并出现不可重试错误。
    • 单个数据流失败。

    若要配置通知电子邮件,请在创建或编辑管道时单击管道设置中的 通知 。 请参阅 添加管道事件的电子邮件通知

  • 此版本包括在 DLT UI 中查看管道列表时增强用户体验的更改。 这些更改包括每个页面上显示的管道数量增加。 默认情况下,每个页面上显示 20 个管道。 上一个默认设置是在每个页面上显示 10 个管道。

  • 在此版本中,如果您的任何 Python 数据集定义使用反引号将数据集名称括起来(例如,定义一个表为 dlt.table(name="`table.name`")),则 DLT 事件日志中会显示弃用警告。

此版本中的错误修复

  • 此版本修复了使用 spark.sql("SHOW CATALOGS") 命令时导致错误的 bug。 SHOW CATALOGS 现在是受支持的命令。