2023 年 6 月
这些功能和 Azure Databricks 平台改进已于 2023 年 6 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Terraform 提供程序已更新到版本 1.20.0
2023 年 6 月 29 日
Databricks Terraform 提供程序版本 1.20.0 添加了对 Unity Catalog databricks_catalog_workspace_binding
资源的支持,改进了帐户级别的用户和组导出,等等。 如需更多详细信息,请参阅版本 1.20.0 的更改日志。
Databricks CLI 已更新到版本 0.200.1 (公共预览版)
2023 年 6 月 28 日
Databricks CLI 版本 0.200.1 更新 fs ls
和 fs cp
命令,支持将本地文件作为命令的默认值 fs
,向 repos create
命令添加提供程序检测等。 如需更多详细信息,请参阅版本 0.200.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.12.0 (Beta 版本)
2023 年 6 月 28 日
Databricks SDK for Go 版本 0.12.0 添加了对作业级参数和参数定义、作业任务条件执行以及针对其他服务的多个 bug 修复的支持。 如需更多详细信息,请参阅版本 1.12.0 的更改日志。
Databricks SDK for Go 已更新到版本 0.11.0 (Beta 版本)
2023 年 6 月 28 日
Databricks SDK for Go 版本 0.11.0 引入了对 Go API 的多项中断性变更,包括数十项添加、重命名和合并。 如需更多详细信息,请参阅版本 0.11.0 的更改日志。
Databricks SDK for Python (beta 版本)
2023 年 6 月 28 日
Databricks SDK for Python 现在以 beta 版本提供。 Databricks SDK for Python 通过运行 Python 代码可以自动处理 Azure Databricks 帐户、工作区和资源。
请参阅 Databricks SDK for Python。
Databricks SDK for Go (beta 版本)
2023 年 6 月 28 日
The Databricks SDK for Go 现在以 beta 版本提供。 Databricks SDK for Go 通过运行 Go 代码可以自动处理 Azure Databricks 帐户、工作区和资源。
访问审核日志、可计费使用情况和世系系统表(公共预览版)
2023 年 6 月 28 日
帐户管理员现在可以启用对 Azure Databricks 帐户中系统表的访问。 系统表是帐户操作数据的 Azure Databricks 托管的分析存储。 系统表提供了易于访问的账户范围可观测性数据。
Unity Catalog 中的模型(公共预览版)
2023 年 6 月 28 日
现在可以升级 MLflow 模型注册表工作流,通过 Unity Catalog 治理模型。 Unity Catalog 提供了集中式访问控制、审核、世系、跨工作区模型共享,以及更好的 MLOps 部署工作流。 Databricks 建议使用 Unity Catalog 中的模型,而不是现有的工作区模型注册表,这将在未来弃用。 有关详细信息,请参阅在 Unity Catalog 中管理模型生命周期。
Databricks 市场现已正式发布
2023 年 6 月 27 日
现在,可以使用 Databricks 市场来发现、访问顶级提供商的数百种数据产品和笔记本,并将其部署到 AI 和分析工作流中。 自公共预览版开始以来,亮点包括新的提供商,包括 Dun and Bradstreet、LexisNexis、Refinitiv(伦敦证券交易所集团)、YipitData 和 ZoomInfo,以及增加私人交易所和使用 USE_MARKETPLACE_ASSETS
特权简化消费者权限管理。
Databricks Runtime 13.2(Beta 版本)
2023 年 6 月 26 日
Databricks Runtime 13.2 和 Databricks Runtime 13.2 ML 现已作为 Beta 版本提供。
请参阅 Databricks Runtime 13.2 (EoS) 和用于机器学习的 Databricks Runtime 13.2 (EoS)。
Visual Studio Code 的 Databricks 扩展(正式发布)
2023 年 6 月 26 日
Visual Studio Code 的 Databricks 扩展现已正式发布。 连接到湖屋,执行交互式调试,并运行 Jupyter 笔记本,无需离开 IDE。 使用 IDE 的代码导航、重构、完成和错误识别。
请参阅 Visual Studio Code 的 Databricks 扩展。
在没有模板的情况下使用 Azure CLI 和 Powershell 启用客户管理的密钥
2023 年 6 月 23 日
现在,可以使用 Azure CLI 和 Powershell 为托管服务和托管磁盘启用客户管理的密钥,而无需使用模板。 这已经可用于 DBFS 的客户管理的密钥。 请参阅为托管服务启用客户管理的密钥、为 Azure 托管磁盘配置客户管理的密钥以及为 DBFS 根客户管理的密钥。
在 Azure Databricks 作业 UI 中查看已完成作业运行的直观概述
2023 年 6 月 22 日
增强的 Azure Databricks 作业 UI 直观地概述了已完成的作业运行、可按运行状态和时间进行筛选,以及最常见的作业错误列表。 默认时间筛选器涵盖前 48 小时。 请参阅查看最近的作业运行。
Databricks CLI(公共预览版)
2023 年 6 月 21 日
Databricks 命令行接口 (Databricks CLI) 进行了重大改造。 新 CLI 涵盖所有 Databricks REST API 操作,并支持所有 Azure Databricks 身份验证类型。 macOS 和 Linux 用户可以使用 Homebrew 安装新的 CLI。 也支持 Windows。
改进了来自 List all jobs
和 List job runs
API 请求的结果的分页
2023 年 6 月 14 日
现在可以使用 page_token
参数对 GET /api/2.1/jobs/list 和 GET /api/2.1/jobs/runs/list Jobs API 请求返回的结果进行分页。 这种基于令牌的分页替换了已弃用的 offset
和 limit
参数,并提高了这些请求的服务可伸缩性。
完整页面工作区浏览器包括 Repos
2023 年 6 月 14 日
完整页面工作区浏览器体验现已扩展到 Repos。 可以通过单击边栏中的“工作区”来浏览 Databricks Repos 中的内容以及工作区内容。 还可以使用上下文浏览器浏览笔记本中的内容。 有关整版工作区浏览器的详细信息,请参阅导航工作区和工作区浏览器。
Databricks Terraform 提供程序已更新到版本 1.19.0
2023 年 6 月 14 日
Databricks Terraform 提供程序 1.19.0 将 run_as
和 run_as_user_name
添加到 databricks_job
,将更多属性添加到 databricks_cluster_policy
,将 force_destroy
添加到 databricks_external_location
,等等。 如需更多详细信息,请参阅版本 1.19.0 的更改日志。
作为服务主体运行作业(公共预览版)
2023 年 6 月 13 日
现在可以向 Azure Databricks 用户、服务主体和组授予使用服务主体的权限。 这允许用户作为服务主体运行作业,而不是作为作业所有者的标识运行,以防止在用户离开组织或修改组后作业失败。
新的服务主体 UI 提供更好的管理体验
2023 年 6 月 13 日
现在可以使用新的服务主体 UI 来管理工作区中的服务主体。 在服务主体 UI 中,可以将服务主体添加到工作区、配置权利和管理服务主体权限。 请参阅管理服务主体。
将用户重新添加到工作区时还原主文件夹
2023 年 6 月 9 日
当管理员从工作区中删除用户然后重新添加它们时,用户的主文件夹现在会还原。 以前,在重新添加到工作区后,用户会收到一个新的空主文件夹。 他们的旧主文件夹被保留作为备份。 有关工作区文件夹的详细信息,请参阅将工作区对象组织到文件夹中。
Databricks 市场:现已推出专用交换
2023 年 6 月 7 日
专用交换使数据提供者能够与一组选定的受邀使用者共享数据产品。 专用列表出现在受邀使用者的市场主页上,但不会出现在公共市场中。
Databricks 市场:使用者可以使用 UI 卸载数据产品
2023 年 6 月 5 日
数据使用者现在可以使用市场的“我的请求”界面卸载任何数据产品。
Databricks 市场:提供者可以创建自己的配置文件
2023 年 6 月 5 日
在数据提供者的提供程序应用程序获得批准后,他们现在可以创建和更新自己的配置文件。
Databricks Connect V2 是适用于 Python 的 GA
2023 年 6 月 2 日
从 Databricks Runtime 13.1 开始,Databricks Connect 现在是适用于 Python 的正式版。 此版本添加了对结构化流式处理、所有 Delta 功能和 Spark 上的 Pandas 的支持。 它还通过依赖包含的 Databricks SDK for Python 来支持 OAuth (试验性)。
Databricks Terraform 提供程序已更新到版本 1.18.0
2023 年 6 月 2 日
Databricks Terraform 提供程序 1.18.0 添加了 databricks_volume
资源,向 databricks_permissions
添加了 databricks_model_serving
支持,等等。 如需更多详细信息,请参阅版本 1.18.0 的更改日志。
新的 Databricks 市场提供商
2023 年 6 月 1 日
过去一个月,八家新提供商在 Databricks 市场上发布了列表。 其中包括:
- IQVIA:医疗保健和生命科学数据。
- Morningstar:投资数据和研究见解,例如 ESG 风险评级数据。
- Vaisala:天气和环境数据。
- Sucali:对冲基金和投资者的房地产绩效指标。
- Veritas Data Research:2010 年至今美国死亡率数据综合指数。
- Collectors Data Store:面向广告商和消费者的体育和交易卡数据。
- Tego Cyber:网络安全和威胁情报数据
- Ribbon Health:医疗保健提供商数据。
如果你对这些提供商或市场有疑问,请联系 dataconsumers@databricks.com
。
Databricks Runtime 13.1 已推出正式版
2023 年 6 月 1 日
Databricks Runtime 13.1 和 Databricks Runtime 13.1 ML 现已推出正式版。
请参阅 Databricks Runtime 13.1 (EoS) 和用于机器学习的 Databricks Runtime 13.1 (EoS)。
使用统一架构浏览器(公共预览版)从笔记本、SQL 编辑器和目录资源管理器查看数据
2023 年 6 月 1 日
新的统一架构浏览器使你无需退出笔记本或 SQL 编辑器即可查看 Unity Catalog 元存储中的所有数据。 可以选择“你的”将视图限制为仅显示你正在使用的活动数据和收藏的数据。
有关目录资源管理器的详细信息,请参阅目录资源管理器。
有关从笔记本访问目录资源管理器的信息,请参阅浏览数据。