用户定义的 Azure Databricks 路由设置
如果将 Azure Databricks 工作区部署到你自己的虚拟网络 (VNet),则可使用自定义路由(也称用户定义路由 (UDR)),确保为工作区正确路由网络流量。 例如,如果将虚拟网络连接到本地网络,则流量可能通过本地网络路由,无法到达 Azure Databricks 控制平面。 用户定义路由可以解决该问题。
对于 VNet 的每种类型的出站连接,你都需要一个 UDR。 可以使用 Azure 服务标记和 IP 地址在用户定义路由上定义网络访问控制。 Databricks 建议使用 Azure 服务标记来防止由于 IP 更改而导致的服务中断。
使用 Azure 服务标记配置用户定义路由
Databricks 建议使用 Azure 服务标记,这些标记表示来自给定 Azure 服务的一组 IP 地址前缀。 Azure 会管理服务标记包含的地址前缀,并会在地址发生更改时自动更新服务标记。 这有助于防止由于 IP 更改而导致的服务中断,无需定期查找这些 IP 并在路由表中更新它们。 但是,如果你的组织策略不允许使用服务标记,你可以选择性地将路由指定为 IP 地址。
使用服务标记时,用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。
源 | 地址前缀 | 下一跃点类型 |
---|---|---|
默认 | Azure Databricks 服务标记 | Internet |
默认 | Azure SQL 服务标记 | Internet |
默认 | Azure 存储服务标记 | Internet |
默认 | Azure 事件中心服务标记 | Internet |
注意
可以选择添加 Microsoft Entra ID 服务标记,从而为从 Azure Databricks 群集到 Azure 资源的 Microsoft Entra ID 身份验证提供便利。
如果在工作区中启用了 Azure 专用链接,则不需要 Azure Databricks 服务标记。
Azure Databricks 服务标记表示到 Azure Databricks 控制平面、安全群集连接 (SCC) 和 Azure Databricks Web 应用程序的必需出站连接的 IP 地址。
Azure SQL 服务标记表示到 Azure Databricks 元存储的必需出站连接的 IP 地址,Azure 存储服务标记表示项目 Blob 存储和日志 Blob 存储的 IP 地址。 Azure 事件中心服务标记表示将日志记录到 Azure 事件中心所需的出站连接。
某些服务标记可以通过将 IP 范围限制为指定的区域,来实现更精细的控制。 例如,China East 2
区域中 Azure Databricks 工作区的路由表可能如下所示:
名称 | 地址前缀 | 下一跃点类型 |
---|---|---|
adb-servicetag | AzureDatabricks | Internet |
adb-metastore | Sql.ChinaEast2 | Internet |
adb-storage | Storage.ChinaEast2 | Internet |
adb-eventhub | EventHub.ChinaEast2 | Internet |
若要获取用户定义路由所需的服务标记,请参阅虚拟网络服务标记。
使用 IP 地址配置用户定义路由
Databricks 建议使用 Azure 服务标记,但如果你的组织策略不允许使用服务标记,则你可以使用 IP 地址在用户定义的路由中定义网络访问控制。
详细信息取决于是否为工作区启用了安全群集连接 (SCC):
- 如果为工作区启用了安全群集连接,则你需要一个 UDR 来允许群集连接到控制平面中的安全群集连接中继。 请务必为你的区域包括标记为“SCC 中继 IP”的系统。
- 如果为工作区禁用了安全群集连接,则存在来自控制平面 NAT 的入站连接,但从技术上讲,该连接的低层 TCP SYN-ACK 是需要 UDR 的出站数据。 请务必为你的区域包括标记为“控制平面 NAT IP”的系统。
用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。
源 | 地址前缀 | 下一跃点类型 |
---|---|---|
默认 | 控制平面 NAT IP(如果禁用了 SCC) | Internet |
默认 | SCC 中继 IP(如果启用了 SCC) | Internet |
默认 | Webapp IP | Internet |
默认 | 元存储 IP | Internet |
默认 | 项目 Blob 存储 IP | Internet |
默认 | 日志 Blob 存储 IP | Internet |
默认 | 工作区存储 IP - Blob 存储终结点 | Internet |
默认 | 工作区存储 IP - ADLS gen2 (dfs ) 终结点 |
Internet |
默认 | 事件中心 IP | Internet |
如果在工作区中启用了 Azure 专用链接,则用户定义路由应遵守以下规则,并将路由表与虚拟网络的公共子网和专用子网相关联。
源 | 地址前缀 | 下一跃点类型 |
---|---|---|
默认 | 元存储 IP | Internet |
默认 | 项目 Blob 存储 IP | Internet |
默认 | 日志 Blob 存储 IP | Internet |
默认 | 事件中心 IP | Internet |
若要获取用户定义的路由所需的 IP 地址,请使用 Azure Databricks 区域中的表格和说明,特别是: