Databricks Connect 使用要求

本文提供 Databricks Connect 的使用要求。 有关 Databricks Connect 的信息，请参阅 Databricks Connect。

工作区要求

若要使用 Databricks Connect 连接到工作区，请执行以下作：

• Azure Databricks 帐户和工作区必须启用 Unity Catalog。 请参阅 Unity 目录入门 并 启用 Unity 目录的工作区。

• 计算的 Databricks Runtime 版本必须大于或等于 Databricks Connect 包版本。 Databricks 建议使用与 Databricks Runtime 版本匹配的最新 Databricks Connect 包。

  若要使用 Databricks Runtime 的更高版本中提供的功能，必须升级 Databricks Connect 包。 请参阅 Databricks Connect 发行说明，了解可用 Databricks Connect 版本列表。 有关 Databricks Runtime 版本发行说明，请参阅 Databricks Runtime 发行说明版本和兼容性。

• 如果要连接到无服务器计算，则工作区必须满足无服务器计算的要求。

  注释

  从 Databricks Connect 版本 15.1 开始，支持无服务器计算。 Databricks Connect 版本低于或等于无服务器环境中的 Databricks Runtime 版本时，它们是完全兼容的。 请参阅发行说明。 若要验证 Databricks Connect 版本是否与无服务器计算兼容，请参阅验证与 Databricks 的连接。

• 如果要连接到 群集，目标群集必须使用已分配或共享的群集访问模式。 请参阅访问模式。

  Important

  Databricks Connect 不支持连接到 开放源代码 Apache Spark 服务器。 请参阅 连接到 Apache Spark 服务器时出错。

本地环境要求

若要安装 Databricks Connect，本地开发环境必须满足以下要求：

Python

• 配置了 Databricks 的身份验证。 根据 Databricks 身份验证类型 ，可能存在要求：

  • 对于 OAuth 用户到计算机（U2M）身份验证，必须在运行代码之前使用 Databricks CLI 进行身份验证。 若要安装和配置 Databricks CLI，请参阅 安装或更新 Databricks CLI。 另请参阅 Databricks Connect for Python 教程。

  • 适用于 Python 0.19.0 及更高版本的 Databricks SDK 支持 OAuth 用户到计算机（U2M）身份验证和 OAuth 计算机到计算机（M2M）身份验证。 若要更新项目的 Databricks SDK for Python 的已安装版本，请参阅 用于 Python 的 Databricks SDK 入门。

• 已安装 Python 3，安装的 Python 次要版本满足以下 版本兼容性表中的版本 要求。

• 如果使用用户定义的函数（UDF），则本地 Python 次要版本与群集或无服务器计算的 Databricks Runtime 版本的 Python 的次要版本匹配。 若要查找群集的 Databricks Runtime 版本的次要 Python 版本，请参阅该版本的 Databricks Runtime 发行说明的系统环境章节。 请参阅 Databricks Runtime 发行说明版本和兼容性和无服务器计算发行说明。

Scala

• 配置了 Databricks 的身份验证。 根据 Databricks 身份验证类型 ，可能存在要求：

  • 对于 OAuth 用户到计算机（U2M）身份验证，必须在运行代码之前使用 Databricks CLI 进行身份验证。 若要安装和配置 Databricks CLI，请参阅 安装或更新 Databricks CLI。 另请参阅 Databricks Connect for Scala 教程。

  • 适用于 Java 0.18.0 及更高版本的 Databricks SDK 支持 OAuth 用户到计算机（U2M）身份验证和 OAuth 计算机到计算机（M2M）身份验证。 若要更新项目的 Databricks SDK for Java 的已安装版本，请参阅 用于 Java 的 Databricks SDK 入门。

  • 对于适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect，就 Scala 而言，Databricks Connect 包括用于 Java 的 Databricks SDK。 此 SDK 实现 Databricks 统一身份验证 标准。

• 已安装 Java 开发工具包（JDK）。 Databricks 建议 JDK 安装的版本与 Azure Databricks 群集上的 JDK 版本匹配。 若要在群集上查找 Databricks Runtime 的 JDK 版本，请参阅 Databricks Runtime 发行说明的“系统环境”部分或版本兼容性表。

  注释

  使用与群集 JDK 版本不匹配的 JDK 版本可能会导致意外行为或阻止代码运行。

• 已安装 Scala。 Databricks 建议使用与 Azure Databricks 群集上的 Scala 版本匹配的 Scala 安装版本。 若要查找群集 Databricks Runtime 版本的 Scala 版本，请参阅 Databricks Runtime 发行说明或版本兼容性表的“系统环境”部分。

• 如果使用用户定义的函数（UDF），则本地 Scala 和 Java 版本与群集 Databricks Runtime 版本的 Scala 和 Java 版本匹配。 若要查找群集 Databricks Runtime 版本的 Scala 和 Java 版本，请参阅 Databricks Runtime 发行说明的“系统环境”部分或下面的版本兼容性表。

• 已安装 Scala 生成工具，例如 sbt。

Databricks Connect 版本

下表显示了支持的 Databricks Connect 和兼容的语言版本。 Databricks Connect 版本号对应于 Databricks Runtime 版本号。 请参阅 Databricks Connect 发行说明，了解可用 Databricks Connect 版本列表。 有关 Databricks Runtime 版本发行说明，请参阅 Databricks Runtime 发行说明版本和兼容性。

Python

有关 UDF 支持，请参阅 Python 基础环境。

Scala

支持终止版本

Databricks Connect 遵循 Databricks Runtime 支持生命周期。 以下版本已停止支持。 如果使用的是已达到支持终止版本的 Databricks Connect，请升级到 受支持的版本。

Python

Scala