Lakehouse Federation 的网络连接建议

本文提供有关在 Azure Databricks 群集或 SQL 仓库与使用 Lakehouse Federation 与之连接的外部数据库系统之间设置可行网络路径的指导。

请注意以下重要信息:

  • 所有网络流量都直接在 Azure Databricks 群集(或 SQL 仓库)和外部数据库系统之间进行。 Unity Catalog 或 Azure Databricks 控制平面都不在网络路径上。
  • Azure Databricks 计算(即群集和 SQL 仓库)始终部署在云中,但外部数据库系统可以在本地或托管在任何云提供商上,前提是 Azure Databricks 计算与外部数据库系统之间存在可行的网络路径。
  • 如果对 Azure Databricks 计算或外部数据库系统有入站或出站网络限制,请参阅以下部分获取常规指导,以帮助你创建可行的网络路径。

有关 Azure Databricks 工作区中的网络的详细信息,请参阅“网络”。

数据库系统和 Azure Databricks 计算均可从 Internet 访问

连接应无需任何配置即可正常工作。

数据库系统具有网络访问限制

如果外部数据库系统具有入站或出站网络访问限制,并且可以从 Internet 访问 Azure Databricks 群集或 SQL 仓库,请根据计算类型执行以下配置:

经典计算资源

配置以下网络解决方案之一:

  • Azure Databricks 计算上的稳定出口 IP。

    连同负载均衡器、NAT 网关、Internet 网关或等效网关一起设置一个稳定的 IP 地址,并将其与部署 Azure Databricks 计算的子网连接。 这样,计算可以共享一个稳定的公共 IP 地址,该地址可以在外部数据库端被加入允许列表。

    外部数据库系统应将 Azure Databricks 计算入口和出口流量的稳定 IP 加入允许列表。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置一个专用链接连接。

Azure Databricks 计算具有网络访问限制

如果可以从 Internet 访问外部数据库系统,并且 Azure Databricks 计算具有入站或出站网络访问限制(仅当位于客户管理的网络上时才可能),请执行以下配置之一:

  • 在部署 Azure Databricks 计算的子网的防火墙规则中,将外部数据库的主机名加入允许列表。

    如果选择将外部数据库 IP 地址而不是主机名加入允许列表,请确保外部数据库具有一个稳定的 IP 地址。

  • 专用链接(仅当外部数据库与 Azure Databricks 计算位于同一云中时)

    在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置一个专用链接连接。

Azure Databricks 计算具有自定义 DNS 服务器

如果可以从 Internet 访问外部数据库系统,并且 Azure Databricks 计算具有自定义 DNS 服务器(仅当位于客户管理的网络上时才可能),请将数据库系统的主机名添加到自定义 DNS 服务器,以便可以对其进行解析。