Azure Databricks的用户定义路由设置

如果你的 Azure Databricks 工作区部署到自己的虚拟网络(VNet),则可以使用自定义路由,也称为用户定义路由(UDR),以确保网络流量为你的工作区正确路由。 例如,如果将虚拟网络连接到本地网络,则流量可能通过本地网络路由,并且无法访问Azure Databricks控制平面。 用户定义路由可以解决该问题。

对于 VNet 的每种出站连接,你都需要一个 UDR。 可以使用Azure服务标记和 IP 地址来定义用户定义的路由上的网络访问控制。 Databricks 建议使用Azure服务标记来防止由于 IP 更改而导致服务中断。

使用Azure服务标记配置用户定义的路由

Databricks 建议使用 Azure 服务标记,它表示给定Azure服务中的一组 IP 地址前缀。 Azure管理服务标记包含的地址前缀,并在地址更改时自动更新服务标记。 这有助于防止由于 IP 更改而导致的服务中断,无需定期查找这些 IP 并在路由表中更新它们。 但是,如果你的组织策略不允许使用服务标记,你可以选择性地将路由指定为 IP 地址

使用服务标记时,用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。

地址前缀 下一跳类型
默认 AzureDatabricks Internet
默认 Sql Internet
默认 Storage Internet
默认 EventHub Internet

注意

可以选择添加Microsoft Entra ID服务标记,以便从Azure Databricks群集对Azure资源进行Microsoft Entra ID身份验证。

如果在工作区上启用了 Azure 专用链接,则不需要Azure Databricks服务标记。

Azure Databricks服务标记表示与Azure Databricks控制平面、安全群集连接(SCC)和Azure Databricks Web 应用程序的所需出站连接的 IP 地址。

Azure SQL 服务标记的 IP 地址代表与 Azure Databricks 元存储所需的出站连接,而 Azure 存储 服务标记的 IP 地址则代表用于工件 Blob 存储和日志 Blob 存储的连接。 Azure 事件中心服务标记表示记录到Azure事件中心所需的出站连接。

某些服务标记可以通过将 IP 范围限制为指定的区域,来实现更精细的控制。 例如,China East 2 区域中Azure Databricks工作区的路由表可能如下所示:

名称 地址前缀 下一跳类型
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.ChinaEast2 Internet
adb-storage Storage.ChinaEast2 Internet
adb-eventhub EventHub.ChinaEast2 Internet

重要

如果使用区域范围的服务标记,请注意,某些区域终结点可能位于与主存储终结点不同的Azure区域中。 例如,中国东部的工作区,其辅助制品存储位于中国东部 2。 在这种情况下,还必须为次要区域添加服务标记。 若要查看工作区区域的 FQDN,请参阅 元存储、项目 Blob 存储、系统表存储、日志 Blob 存储和事件中心终结点 IP 地址

若要获取用户定义路由所需的服务标记,请参阅虚拟网络服务标记

使用 IP 地址配置用户定义路由

Databricks 建议使用 Azure 服务标记,但如果组织策略不允许服务标记,则可以使用 IP 地址在用户定义的路由上定义网络访问控制。

详细信息取决于是否为工作区启用了安全群集连接 (SCC)

  • 如果为工作区启用了安全群集连接,则你需要一个 UDR 来允许群集连接到控制平面中的安全群集连接中继。 请务必为你的区域包括标记为“SCC 中继 IP”的系统。
  • 如果为工作区禁用了安全群集连接,则存在来自控制平面 NAT 的入站连接,但从技术上讲,该连接的低层 TCP SYN-ACK 是需要 UDR 的出站数据。 请务必为你的区域包括标记为“控制平面 NAT IP”的系统。

用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。

地址前缀 下一跳类型
默认 控制面 NAT IP(如果禁用了 SCC 功能) Internet
默认 SCC 中继 IP(如果启用了 SCC) Internet
默认 网络应用IP地址 Internet
默认 元存储 IP Internet
默认 制品 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 工作区存储 IP - Blob 存储终结点 Internet
默认 工作区存储 IP - ADLS (dfs) 端点 Internet
默认 事件中心 IP Internet

如果在工作区上启用了 Azure 专用链接,则用户定义的路由应使用以下规则并将路由表关联到虚拟网络的公共和专用子网。

地址前缀 下一跳类型
默认 元存储 IP Internet
默认 制品 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 事件中心 IP Internet

若要获取用户定义的路由所需的 IP 地址,请使用 Azure Databricks 区域中的表和说明,具体如下: