Lakehouse Federation 的联网建议

Lakehouse Federation 需要在你的 Azure Databricks 集群或 SQL 仓库与你所连接到的外部数据库系统之间建立网络路径。 本页面解释了当双方有网络访问限制或自定义DNS服务器时,如何设置该路径。

设置 Lakehouse 联邦的网络连接时,请考虑以下事项:

  • 联合查询的所有网络流量都直接在Azure Databricks群集(或 SQL 仓库)与外部数据库系统之间。 Unity Catalog 和 Azure Databricks 控制平面均不在网络路径中。

  • 使用 OAuth 的连接还有其他要求。 使用 OAuth 进行身份验证时,OAuth 令牌交换从Azure Databricks控制平面而不是计算平面进行。 控制平面必须能够访问外部系统的 OAuth 终结点。 仅允许列出计算平面不足以用于这些连接。 关于连接器的特定要求,请参见 Snowflake 查询联合限制 和 创建 SQL Server 连接中的 OAuth 端点要求。

  • Azure Databricks 计算(即群集和 SQL 仓库)始终部署在云中,但只要 Azure Databricks 计算与外部数据库之间存在可行的网络路径,外部数据库系统就可以在本地或托管在任何云提供程序上。

  • 如果对 Azure Databricks 计算或外部数据库系统有入站或出站网络限制,请参阅以下部分,获取一般指南,以帮助创建可行的网络路径。

有关 Azure Databricks 工作区中的网络的详细信息,请参阅 Networking。

数据库系统和Azure Databricks 计算均可从 Internet 访问

连接应无需任何配置即可正常工作。

数据库系统具有网络访问限制

如果外部数据库系统具有入站或出站网络访问限制,并且 Azure Databricks 群集或 SQL 仓库可从互联网进行访问,则请配置以下其中一种网络解决方案以从经典计算资源进行连接:

  • Azure Databricks 计算中的稳定出口 IP。

    在经典计算平面中,使用 load balancer、NAT 网关、Internet 网关或等效项设置稳定的 IP 地址,并将其连接到部署 Azure Databricks 计算的子网。 这样,计算资源可以共享一个稳定的公共 IP 地址,该地址可以在外部数据库端被加入允许列表。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在经典计算平面中,在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置专用链接连接。

在无服务器计算平面上,SQL Server 连接器支持 Azure 专用链接。 请参阅 “创建专用终结点规则”。

Azure Databricks 计算具有网络访问限制

如果外部数据库系统可从互联网访问,并且 Azure Databricks 计算资源具有入站或出站网络访问限制(这仅在属于客户管理网络时才可能),则执行以下配置之一:

  • 在部署 Azure databricks 计算的子网的防火墙规则中,允许列出外部数据库的主机名。

    如果选择将外部数据库 IP 地址而不是主机名加入允许列表,请确保外部数据库具有一个稳定的 IP 地址。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置专用链接连接。

Azure Databricks 计算具有自定义 DNS 服务器

如果可从 Internet 访问外部数据库系统,并且 Azure Databricks 计算具有自定义 DNS 服务器(仅当位于客户管理的网络上时才可能),请将数据库系统的主机名添加到自定义 DNS 服务器,以便可以解析它。

连接器专用网络连接

部分连接器的网络要求超出本页的一般指南,如必需端点、连接检查或私有连接选项。 有关详情,请参见相关连接页面的网络部分: