Lakehouse Federation 的联网建议

本文提供有关在 Azure Databricks 群集或 SQL 仓库与使用 Lakehouse 联合身份验证连接到的外部数据库系统之间设置可行的网络路径的指导。

设置 Lakehouse 联邦的网络连接时,请考虑以下事项:

  • 联合查询的所有网络流量都直接在Azure Databricks群集(或 SQL 仓库)与外部数据库系统之间。 Unity Catalog 和 Azure Databricks 控制平面均不在网络路径中。

  • 使用 OAuth 的连接还有其他要求。 使用 OAuth 进行身份验证时,OAuth 令牌交换从Azure Databricks控制平面而不是计算平面进行。 控制平面必须能够访问外部系统的 OAuth 终结点。 仅允许列出计算平面不足以用于这些连接。 有关特定于连接器的指南,请参阅相关连接页的网络或限制部分,例如在 Snowflake 上运行联合查询(OAuth)对Microsoft SQL Server运行联合查询

  • Azure Databricks 计算(即群集和 SQL 仓库)始终部署在云中,但只要 Azure Databricks 计算与外部数据库之间存在可行的网络路径,外部数据库系统就可以在本地或托管在任何云提供程序上。

  • 如果对 Azure Databricks 计算或外部数据库系统有入站或出站网络限制,请参阅以下部分,获取一般指南,以帮助创建可行的网络路径。

有关 Azure Databricks 工作区中的网络的详细信息,请参阅 Networking

数据库系统和Azure Databricks 计算均可从 Internet 访问

连接应无需任何配置即可正常工作。

数据库系统具有网络访问限制

如果外部数据库系统具有入站或出站网络访问限制,并且 Azure Databricks 群集或 SQL 仓库可从互联网进行访问,则请配置以下其中一种网络解决方案以从经典计算资源进行连接:

  • Azure Databricks 计算中的稳定出口 IP。

    在经典计算平面中,使用 load balancer、NAT 网关、Internet 网关或等效项设置稳定的 IP 地址,并将其连接到部署 Azure Databricks 计算的子网。 这样,计算资源可以共享一个稳定的公共 IP 地址,该地址可以在外部数据库端被加入允许列表。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在经典计算平面中,在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置专用链接连接。

在无服务器计算平面上,SQL Server 连接器支持 Azure 专用链接。 请参阅步骤 3:创建专用终结点规则

Azure Databricks 计算具有网络访问限制

如果外部数据库系统可从互联网访问,并且 Azure Databricks 计算资源具有入站或出站网络访问限制(这仅在属于客户管理网络时才可能),则执行以下配置之一:

  • 在部署 Azure databricks 计算的子网的防火墙规则中,允许列出外部数据库的主机名。

    如果选择将外部数据库 IP 地址而不是主机名加入允许列表,请确保外部数据库具有一个稳定的 IP 地址。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置专用链接连接。

Azure Databricks 计算具有自定义 DNS 服务器

如果可从 Internet 访问外部数据库系统,并且 Azure Databricks 计算具有自定义 DNS 服务器(仅当位于客户管理的网络上时才可能),请将数据库系统的主机名添加到自定义 DNS 服务器,以便可以解析它。

Snowflake 网络注意事项

  • 如果Azure Databricks计算无法访问 Snowflake OCSP 响应方,则连接尝试在证书验证期间可能会失败。 建议优先允许向 Snowflake OCSP 响应服务器发出的出站流量。 如果受限出口或专用连接设置不允许该流量,请将 disableOCSPChecks Snowflake 连接选项设置为 true。 请参阅 高级连接选项

  • Snowflake 支持将 专用链接 出口作为一种预览功能。 Snowflake 不支持 提供静态 IP,这可以防止设置允许列表的做法。