Azure 专用链接 在您的 Azure Databricks 资源与 Azure 服务和无服务器资源之间创建专用且安全的连接,确保您的网络流量不会暴露在公共互联网中。
Azure Databricks 支持三种类型的专用链接连接:
入站(前端):保护用户与工作区和帐户级资源的连接(例如,帐户控制台和帐户级 Genie One)
出站(无服务器):保护从Azure Databricks无服务器计算到Azure资源的连接
经典(后端):保护从经典计算到控制平面的连接
专用连接概述
Azure 专用链接可实现从 Azure VNet 和本地网络到 Azure 服务的安全专用连接,确保流量与公共 Internet 保持隔离。 端到端私有网络帮助您满足安全和合规要求,降低数据外泄的风险。
可以独立或组合启用入站(前端)、出站(无服务器)或经典计算(后端)专用链接连接。 正确的选择取决于安全性和符合性要求。 例如,可以在自动拒绝所有公共网络连接时强制与Azure Databricks资源建立专用连接。 这种组合方法提供全面的网络隔离、减少攻击面和支持敏感工作负载的合规性。
使用 专用链接,可以:
使用 Azure Databricks Web 应用程序或 API 时,阻止来自未经授权的网络或公共 Internet 的数据访问。
通过仅限制网络暴露到批准的专用终结点,降低数据外泄的风险。
选择正确的 专用链接 实现
使用本指南确定最适合你的需求的实现。
| Consideration | 仅入站(前端) | 仅出站(无服务器) | 仅限经典计算平台(后端) | 完全专用隔离 |
|---|---|---|---|---|
| 主要安全目标 | 只有经过授权的个人才能访问我的 Azure Databricks 资源。 | 在无服务器架构中实现数据访问安全 | 锁定经典计算平面 | 最大隔离(保护所有内容) |
| 用户连通性 | 私人或公共 | 公共(互联网) | 公共(互联网) | 仅限专用 |
| 无服务器数据访问 | 公共(互联网) | 专用(客户资源) | 公共(互联网) | 专用(客户资源) |
| 与控制平面的群集连接 | 公共(标准安全路径) | 公共(标准安全路径) | 私密(必需) | 私密(必需) |
| 先决条件 | 高级计划、VNet 注入、SCC | 高级计划 | 高级计划、VNet 注入、SCC | 高级计划、VNet 注入、SCC |
| 工作区网络访问设置 | 已启用公共访问 | 无需更改 | 已启用公共访问 | 已禁用公共访问 |
| 所需的 NSG 规则 | 所有规则 | N/A | NoAzureDatabricksRules | NoAzureDatabricksRules |
| 所需的专用终结点 | 前端(databricks_ui_api)、浏览器身份验证、自定义 URL 和帐户级访问(general_access) | NCC 专用终结点 | 后端(databricks_ui_api) | 全部(前端、后端、浏览器身份验证、NCC) |
| 相对成本 | 每个终结点的成本和数据传输 | 每个终结点和处理的数据的成本 | 每个终结点的成本和数据传输 | 成本可能更高(所有终结点,包括数据传输和处理) |
入站连接(前端)
入站专用链接可保护用户与 Azure Databricks 工作区及帐户级资源之间的连接安全。 流量通过中继 VNet 中的专用终结点而不是公共 IP 进行路由。 入站专用链接提供安全访问:
Azure Databricks Web 应用程序
REST API
Databricks 应用
Databricks Connect API
Azure Databricks性能密集型服务
参见 配置入站私有连接。
与性能密集型服务的入站专用连接
面向性能密集型服务的入站专用连接
Important
此功能目前以公共预览版提供。
用于性能密集型服务的 专用链接 提供与这些服务的专用连接:
请参阅 为性能密集型服务配置入站专用链接。
基于浏览器的 SSO 的 Web 身份验证
基于浏览器的 SSO 的 Web 身份验证
使用私有链接进行前端访问时,需要一个专用browser_authentication终结点才能使单点登录(SSO)在专用连接上用于Web浏览器登陆。 它安全地处理来自 Microsoft Entra ID 的单点登录(SSO)身份验证回调,否则这些回调将在专用网络上被阻止。 此过程不会影响 REST API 身份验证。
部署规则:每个Azure区域和专用 DNS 区域只能存在一个
browser_authentication终结点。 此单一终结点为共享相同 DNS 配置的区域中的所有工作区提供服务。生产最佳做法:若要防止中断,请在每个生产区域中创建专用的“专用 Web 身份验证工作区”。 其唯一目的是托管此关键终结点。 为此工作区禁用“公用网络访问”,并验证没有为其创建其他前端专用终结点。 如果删除此主机工作区,则该区域中所有其他工作区的 Web 登录失败。
替代配置:对于更简单的部署,可以在现有工作区上托管终结点,而不是创建专用工作区。 这适用于非生产环境,或者如果你确信区域中只有一个工作区。 但是,请注意,删除主机工作区会立即中断依赖于主机工作区的任何其他工作区的身份验证。
出站连接(无服务器)
出站专用链接支持 Azure Databricks 的无服务器计算资源与 Azure 资源进行专用连接。 与入站和经典计算平面专用链接(用于保护与 Azure Databricks 的连接)不同,出站专用链接可保护无服务器计算到客户资源的连接。
无服务器专用链接使用网络连接配置(NCC),这是账户级的区域结构,用于大规模管理私有端点的创建。 NCC 可以附加到同一区域的多个不同的工作区。
与Azure资源的专用连接
与 Azure 资源的专用连接
允许无服务器计算通过专用终结点访问 Azure 存储和 Azure SQL 等 Azure 资源,而无需遍历公共 Internet。 数据流量完全留存在 Azure 网络内。
请参阅 配置与 Azure 资源的专用连接。
与 VNet 资源的专用连接
与 VNet 资源的专用连接
使无服务器计算能够通过 Azure 负载均衡器通过专用终结点访问 VNet 中的资源,例如数据库和内部服务。
请参阅 配置 VNet 中资源的专用连接。
出站连接的关键概念
出站连接的关键概念
网络连接配置(NCC):一种帐户级区域级结构,用于管理专用终结点,并控制无服务器计算如何访问客户资源。
专用终结点规则:定义无服务器计算可以以私有方式访问的特定资源。
工作区附件模型:NCCs 可以附加到同一区域中最多 50 个工作区。
限制和配额:
每个区域每个账户最多可有20个NCC
每个区域有 100 个专用终结点(分布在 NCC 之间)
每个 NCC 最多 50 个工作区
经典计算平台私有连接
经典计算平面专用链接保护从 Azure Databricks 群集到控制平面的连接。 群集连接到用于 REST API 的控制平面,并通过安全连接中继实现群集连接的安全性。
经典计算平面专用链接地址:
符合性要求:帮助满足严格的法规和公司合规性要求,这些要求所有内部云流量都保留在专用网络上。
网络外围强化:实现经典计算平面专用链接以及Azure服务的专用终结点,可限制网络暴露面。 这可以降低数据外泄风险,方法是确保数据处理群集在公共 Internet 上没有未经授权的服务或目标的路径。
请参阅 配置后端专用连接。
注释
可以独立设置经典计算平面专用连接。 它不需要入站或无服务器连接。
用于专用连接的虚拟网络
专用连接使用两个不同的虚拟网络(VNet)。
传输 VNet:此 VNet 充当用户连接的中心中心,包含客户端访问工作区和基于浏览器的 SSO 身份验证所需的入站专用终结点。
工作区 VNet:这是专门为托管Azure Databricks工作区和经典专用终结点而创建的 VNet。
子网分配和大小调整
在每个 VNet 中规划子网以支持专用连接和部署。
中转 VNet 子网:
专用终结点子网:为所有入站专用终结点分配 IP 地址。
浏览器身份验证工作区子网:建议使用两个专用子网(一个主机或公共子网和一个容器或专用子网)来部署浏览器身份验证工作区。
工作区 VNet 子网:
工作区子网:Azure Databricks工作区部署本身需要两个子网(主机或公共子网和容器或专用子网)。 有关工作区子网的大小调整信息,请参阅 地址空间指南。
经典专用终结点子网:为经典计算平面专用连接托管专用终结点需要额外的子网。
大小取决于你的单个实现需求,但你可以使用以下指南:
| VNet | 子网用途 | 建议的 CIDR 范围 |
|---|---|---|
| 中转 | 专用终结点子网 | /26 to /25 |
| 传递 | 浏览器身份验证工作区 |
/28 或 /27 |
| Workspace | 经典专用终结点子网 | /27 |
Azure Databricks 专用终结点
Azure Databricks 使用四种不同类型的私有端点来私有化流量。 了解其不同的角色以正确实现它们。
工作区终结点 (
databricks_ui_api):这是用于保护传入和传出工作区的流量的主要专用终结点。 它负责处理入站和经典计算平面专用链接的 REST API 调用。Web 身份验证终结点(
browser_authentication):这是一个专用的附加终结点,仅用于使单点登录(SSO)能够通过专用连接进行 Web 浏览器登录。 入站连接和端到端连接是必需的。常规访问终结点(
general_access):此专用终结点保护进出工作区和帐户级资源的流量(例如帐户控制台和帐户级 Genie One)。 它能够处理针对入站和经典计算平面专用链接的 REST API 调用,以及通过 SSO 进行的浏览器身份验证。 它可以提供自定义URL流量(例如,<my-custom-account-name>.databricks.azure.cn),并且可以从单一端点服务不同区域的工作区。 Azure Databricks 仍然建议使用databricks_ui_api和browser_authentication端点来为通过非自定义 URL 请求的工作区流量提供服务,以简化专用 DNS 区域的配置。 请参阅为工作区配置入站 专用链接。服务直接终结点 (
service_direct):访问性能密集型服务需要此终结点。 请参阅 为性能密集型服务配置入站专用链接。
对于专用终结点,请注意以下事项:
共享终结点:可在任何区域中的多个工作区和帐户级资源之间共享常规访问专用终结点。 对于经典计算平面连接,单个专用终结点可以为该 VNet 和区域中部署的所有工作区提供服务。 浏览器身份验证终结点还可以在同一区域中的工作区之间共享。
特定于区域:专用终结点是特定于区域的资源。 对于
databricks_ui_api、browser_authentication和service_direct终结点,位于不同区域的工作区需要分别配置专用终结点。 对于通用访问端点,不同区域的工作区可以共享任意区域内的单一端点。
重要注意事项
在配置专用连接之前,请记住以下几点:
如果在专用终结点启用了网络安全组策略,必须在部署专用终结点的子网上的网络安全组中允许端口 443、6666、3306 和 8443-8451 的入站安全规则。
若要在网络与 Azure 门户及其服务之间创建连接,可能需要将Azure门户 URL 添加到允许列表。 请参阅在防火墙或代理服务器上允许 Azure 门户 URL。
即使使用了入站的 专用链接,Azure Databricks 的用户界面也会通过内容分发网络(CDN)域名通过公共互联网加载静态资产,如 JavaScript、CSS 和图片。 Databricks 建议允许流量访问 UI 资产域,这些域名在 配置域名防火墙规则 中列出。