本文提供有关在 Azure Databricks 群集或 SQL 仓库与使用 Lakehouse 联合身份验证连接到的外部数据库系统之间设置可行的网络路径的指导。
请注意以下重要信息:
- 所有网络流量都直接在 Azure Databricks 群集(或 SQL 仓库)与外部数据库系统之间。 Unity Catalog 和 Azure Databricks 控制平面都没有在网络路径上。
- Azure Databricks 计算(即群集和 SQL 仓库)始终部署在云中,但只要 Azure Databricks 计算与外部数据库之间存在可行的网络路径,外部数据库系统就可以在本地或托管在任何云提供程序上。
- 如果对 Azure Databricks 计算或外部数据库系统有入站或出站网络限制,请参阅以下部分,获取一般指南,以帮助创建可行的网络路径。
有关 Azure Databricks 工作区中的网络的详细信息,请参阅 Networking。
数据库系统和Azure Databricks 计算均可从 Internet 访问
连接应无需任何配置即可正常工作。
数据库系统具有网络访问限制
如果外部数据库系统具有入站或出站网络访问限制,并且 Azure Databricks 群集或 SQL 仓库可从互联网进行访问,则请配置以下其中一种网络解决方案以从经典计算资源进行连接:
Azure Databricks 计算中的稳定出口 IP。
在经典计算平面中,使用 load balancer、NAT 网关、Internet 网关或等效项设置稳定的 IP 地址,并将其连接到部署 Azure Databricks 计算的子网。 这样,计算资源可以共享一个稳定的公共 IP 地址,该地址可以在外部数据库端被加入允许列表。
Private Link(仅当外部数据库与 Azure Databricks 计算位于同一云中时)
在经典计算平面中,在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置Private Link连接。
Azure Databricks 计算具有网络访问限制
如果外部数据库系统可从互联网访问,并且 Azure Databricks 计算资源具有入站或出站网络访问限制(这仅在属于客户管理网络时才可能),则执行以下配置之一:
在部署 Azure databricks 计算的子网的防火墙规则中,允许列出外部数据库的主机名。
如果选择将外部数据库 IP 地址而不是主机名加入允许列表,请确保外部数据库具有一个稳定的 IP 地址。
Private Link(仅当外部数据库与 Azure Databricks 计算位于同一云中时)
在部署数据库的网络与部署 Azure Databricks 计算的网络之间配置Private Link连接。
Azure Databricks 计算具有自定义 DNS 服务器
如果可从 Internet 访问外部数据库系统,并且 Azure Databricks 计算具有自定义 DNS 服务器(仅当位于客户管理的网络上时才可能),请将数据库系统的主机名添加到自定义 DNS 服务器,以便可以解析它。
Snowflake 网络注意事项
Snowflake 支持将 Private Link 出口作为一种预览功能。 Snowflake 不支持 提供静态 IP,这可以防止设置允许列表的做法。