用户定义的 Azure Databricks 路由设置

如果将 Azure Databricks 工作区部署到你自己的虚拟网络 (VNet),则可使用自定义路由(也称用户定义路由 (UDR)),确保为工作区正确路由网络流量。 例如,如果将虚拟网络连接到本地网络,则流量可能通过本地网络路由,无法到达 Azure Databricks 控制平面。 用户定义路由可以解决该问题。

对于 VNet 的每种类型的出站连接,你都需要一个 UDR。 可以使用 Azure 服务标记和 IP 地址在用户定义路由上定义网络访问控制。 Databricks 建议使用 Azure 服务标记来防止由于 IP 更改而导致的服务中断。

使用 Azure 服务标记配置用户定义路由

Databricks 建议使用 Azure 服务标记,这些标记表示来自给定 Azure 服务的一组 IP 地址前缀。 Azure 会管理服务标记包含的地址前缀,并会在地址发生更改时自动更新服务标记。 这有助于防止由于 IP 更改而导致的服务中断,无需定期查找这些 IP 并在路由表中更新它们。 但是,如果你的组织策略不允许使用服务标记,你可以选择性地将路由指定为 IP 地址

使用服务标记时,用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。

地址前缀 下一跃点类型
默认 Azure Databricks 服务标记 Internet
默认 扩展基础结构 IP Internet
默认 Azure SQL 服务标记 Internet
默认 Azure 存储服务标记 Internet
默认 Azure 事件中心服务标记 Internet

注意

可以选择添加 Microsoft Entra ID(以前称为 Azure Active Directory)服务标记,从而为从 Azure Databricks 群集到 Azure 资源的 Microsoft Entra ID 身份验证提供便利。

如果在工作区中启用了 Azure 专用链接,则不需要 Azure Databricks 服务标记。

Azure Databricks 服务标记表示到 Azure Databricks 控制平面、安全群集连接 (SCC) 和 Azure Databricks Web 应用程序的必需出站连接的 IP 地址。 它不包括到 Azure Databricks 扩展基础结构的外部连接的 IP 地址,后者用于备用 Azure Databricks 基础结构,目的是提高 Databricks 服务的稳定性。 必须为扩展基础结构 IP 添加 UDR,除非你所在的区域不支持这些 IP。 可以在控制平面 NAT、Web 应用和扩展基础结构 IP 地址和域中找到你的区域的扩展基础结构 IP 地址范围。

Azure SQL 服务标记表示到 Azure Databricks 元存储的必需出站连接的 IP 地址,Azure 存储服务标记表示项目 Blob 存储和日志 Blob 存储的 IP 地址。 Azure 事件中心服务标记表示用于将内容记录到 Azure 事件中心的必需出站连接。

某些服务标记可以通过将 IP 范围限制为指定的区域,来实现更精细的控制。 例如,China East 2 区域中 Azure Databricks 工作区的路由表可能如下所示:

名称 地址前缀 下一跃点类型
adb-servicetag AzureDatabricks Internet
adb-extinfra 中国区域不支持扩展基础结构
adb-metastore Sql.ChinaEast2 Internet
adb-storage Storage.ChinaEast2 Internet
adb-eventhub EventHub.ChinaEast2 Internet

若要获取用户定义路由所需的服务标记,请参阅虚拟网络服务标记

使用 IP 地址配置用户定义路由

Databricks 建议使用 Azure 服务标记,但如果你的组织策略不允许使用服务标记,则你可以使用 IP 地址在用户定义的路由中定义网络访问控制。

详细信息取决于是否为工作区启用了安全群集连接 (SCC)

  • 如果为工作区启用了安全群集连接,则你需要一个 UDR 来允许群集连接到控制平面中的安全群集连接中继。 请务必为你的区域包括标记为“SCC 中继 IP”的系统。
  • 如果为工作区禁用了安全群集连接,则存在来自控制平面 NAT 的入站连接,但从技术上讲,该连接的低层 TCP SYN-ACK 是需要 UDR 的出站数据。 请务必为你的区域包括标记为“控制平面 NAT IP”的系统。

用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。

地址前缀 下一跃点类型
默认 控制平面 NAT IP(如果禁用了 SCC) Internet
默认 SCC 中继 IP(如果启用了 SCC) Internet
默认 Webapp IP Internet
默认 扩展基础结构 IP Internet
默认 元存储 IP Internet
默认 项目 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 DBFS 根存储 IP - Blob 存储终结点 Internet
默认 DBFS 根存储 IP - ADLS gen2 (dfs) 终结点 Internet
默认 事件中心 IP Internet

如果在工作区中启用了 Azure 专用链接,则用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。

地址前缀 下一跃点类型
默认 元存储 IP Internet
默认 项目 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 事件中心 IP Internet

若要获取用户定义的路由所需的 IP 地址,请使用 Azure Databricks 区域中的表格和说明,特别是: