Unity Catalog 连接

连接是 Unity 目录中的安全对象,用于存储访问外部系统所需的终结点和凭据。 连接包括:

  • 外部系统的终结点或 URL
  • 身份验证凭据
  • 配置参数
  • 所有者和元数据

连接与 存储凭据 (适用于云对象存储)或服务 凭据 (对于非存储云服务)不同。 有关详细信息,请参阅 什么是 Unity 目录?连接

连接类型

Azure Databricks支持多种连接类型,每种连接类型都设计为不同的集成模式。 你创建的类型确定连接使用方式及其提供的治理方式。

查询联合连接

查询联合连接可对外部数据库启用只读查询,而无需移动数据。 它们使用镜像外部数据库结构的外目录。 查询使用 JDBC 向下推送到外部数据库。

请参阅什么是查询联邦?

目录联合连接

目录联合连接将外部目录(Hive 元存储或 Snowflake Horizon 目录)连接到Azure Databricks。 Unity 目录对外部目录元数据进行爬网并自动填充外部目录,以便可以直接在源文件存储中查询数据。

请参阅什么是目录联邦?

JDBC 连接

JDBC 连接通过 Spark 数据源 API 或远程查询 SQL API 使用 JDBC 驱动程序 JAR 提供对外部数据库的读取和写入访问权限。

请参阅 JDBC 连接

选择连接类型

下表比较了连接类型,以帮助为用例选择合适的连接类型。

类型 用例 阅读 写入 治理级别
联合查询 在不复制数据的情况下就地查询外部数据库 表级
目录联合 连接外部目录以直接在源文件存储中查询数据 表级
JDBC 使用特定 JDBC 驱动程序读取和写入外部数据库 连接级别

创建连接

您可以使用 SQL、目录浏览器 UI(目录>创建>创建连接),或使用 REST API 和 Databricks CLI 创建连接。

SQL CREATE CONNECTION 语句支持以下 TYPE 值:DATABRICKS、、HTTPMYSQLPOSTGRESQLREDSHIFTSNOWFLAKE、。 SQLDWSQLSERVER SaaS 引入类型(如 Salesforce、HubSpot 和 Jira)只能使用 UI 或 API 创建。

请参阅 SQL 参考中的 CREATE CONNECTION

连接和网络策略

出站连接的安全性在以下层中运行:

  • Unity 目录连接 控制凭据和连接配置(URL、主机、端口、选项)。 它们提供了一种安全、受管理的方式,用于存储和共享外部系统的身份验证详细信息和连接设置,而无需在代码中嵌入机密。
  • 网络策略 控制网络访问。 它们控制从Azure Databricks计算到外部终结点的出站连接,以及从外部源到工作区的入站连接。 Unity 目录连接不强制实施网络限制。 若要按任一方向管理允许的流量,请配置网络规则。