Azure Private Link概念

Azure Private Link 在您的 Azure Databricks 资源与 Azure 服务和无服务器资源之间创建专用且安全的连接,确保您的网络流量不会暴露在公共互联网中。

Azure Databricks支持三种类型的Private Link连接:

  • 入站(前端):保护从用户到工作区的连接
  • Outbound(无服务器):保护 Azure Databricks 中的无服务器计算与 Azure 资源之间的连接
  • 经典(后端):保护从经典计算到控制平面的连接

专用连接概述

Azure Private Link可实现从Azure VNet 和本地网络到Azure服务的安全专用连接,确保流量与公共 Internet 保持隔离。 此功能可帮助组织满足安全性和合规性要求。 它支持端到端专用网络,并最大限度地减少数据外泄的风险。

可以独立或组合启用入站(前端)、出站(无服务器)或经典计算(后端)Private Link连接。 正确的选择取决于安全性和符合性要求。 还可以强制实施工作区的专用连接,导致Azure Databricks自动拒绝所有公共网络连接。 这种组合方法提供全面的网络隔离、减少攻击面和支持敏感工作负载的合规性。

使用 Private Link,可以:

  • 使用 Azure Databricks Web 应用程序或 API 时,阻止来自未经授权的网络或公共 Internet 的数据访问。
  • 通过仅限制网络暴露到批准的专用终结点,降低数据外泄的风险。

使用本指南确定最适合你的需求的实现。

注意事项 仅入站(前端) 仅出站(无服务器) 仅限经典计算平台(后端) 完全专用隔离
主要安全目标 只有经过授权的个人才能访问我的Azure Databricks资源。 在无服务器架构中实现数据访问安全 锁定经典计算平面 最大隔离(保护所有内容)
用户连接 私人或公共 公共(互联网) 公共(互联网) 仅限专用
无服务器数据访问 公共(互联网) 专用(客户资源) 公共(互联网) 专用(客户资源)
群集与控制平面的连接 公共(标准安全路径) 公共(标准安全路径) 私密(必需) 私密(必需)
先决条件 高级计划、VNet 注入、SCC 高级计划 高级计划、VNet 注入、SCC 高级计划、VNet 注入、SCC
工作区网络访问设置 已启用公共访问 无需更改 已启用公共访问 已禁用公共访问
所需的 NSG 规则 所有规则 不适用 NoAzureDatabricksRules NoAzureDatabricksRules
所需的专用终结点 前端(databricks_ui_api),浏览器身份验证 NCC 专用终结点 后端(databricks_ui_api) 全部(前端、后端、浏览器身份验证、NCC)
相对成本 每个终结点的成本和数据传输 每个终结点和处理的数据的成本 每个终结点的成本和数据传输 成本可能更高(所有终结点,包括数据传输和处理)

入站连接(前端)

入站 Private Link 为用户到 Azure Databricks 工作区的连接提供安全保障。 流量通过中继 VNet 中的专用终结点而不是公共 IP 进行路由。 入站专用链接提供安全访问:

  • Azure Databricks Web 应用程序
  • REST API
  • Databricks Connect API

请参阅 配置前端专用连接

Azure Private Link网络体系结构.

与性能密集型服务的入站专用连接

面向性能密集型服务的入站专用连接

重要

此功能目前以公共预览版提供。

对于性能密集型服务,Private Link提供与以下服务的专用连接:

  • Zerobus 数据摄取
  • Lakebase 自动缩放
Web 身份验证,用于基于浏览器的 SSO

基于浏览器的 SSO 的 Web 身份验证

使用私有链接进行前端访问时,需要一个专用browser_authentication终结点才能使单点登录(SSO)在专用连接上用于Web浏览器登陆。 它安全地处理Microsoft Entra ID的单点登录(SSO)身份验证回调,如果不这样做,它们会在专用网络上被阻止。 此过程不会影响 REST API 身份验证。

  • 部署规则:每个Azure区域和专用 DNS 区域只能存在一个 browser_authentication 终结点。 此单一终结点为共享相同 DNS 配置的区域中的所有工作区提供服务。
  • 生产最佳做法:若要防止中断,请在每个生产区域中创建专用的“专用 Web 身份验证工作区”。 其唯一目的是托管此关键终结点。 为此工作区禁用“公用网络访问”,并验证没有为其创建其他前端专用终结点。 如果删除此主机工作区,则该区域中所有其他工作区的 Web 登录失败。
  • 替代配置:对于更简单的部署,可以在现有工作区上托管终结点,而不是创建专用工作区。 这适用于非生产环境,或者如果你确信区域中只有一个工作区。 但是,请注意,删除主机工作区会立即中断依赖于主机工作区的任何其他工作区的身份验证。

出站连接(无服务器)

出站 Private Link 使得从 Azure Databricks 无服务器计算资源到您 Azure 资源的专用连接成为可能。 与用于Azure Databricks入站和经典计算平面的Private Link不同,出站Private Link保护无服务器计算资源与客户资源的连接。

无服务器Private Link使用网络连接配置(NCC),这是用于大规模管理专用终结点创建的帐户级区域构造。 NCC 可以附加到同一区域的多个不同的工作区。

与 Azure 资源建立连接

与Azure资源的专用连接

使无服务器计算无需遍历公共 Internet 即可通过专用终结点访问Azure Storage和Azure SQL等Azure资源。 数据流量完全保持在 Azure 网络之内。

专用连接到 VNet 资源

与 VNet 资源的专用连接

使无服务器计算能够通过Azure负载均衡器通过专用终结点访问 VNet 中的资源,例如数据库和内部服务。

与你的 VPC 中的资源建立专用连接。

出站连接的关键概念

出站连接的关键概念

  • 网络连接配置(NCC):用于管理专用终结点的帐户级区域构造,并控制无服务器计算如何访问客户资源。
  • 专用终结点规则:定义无服务器计算可以私下访问的特定资源。
  • 工作区附件模型:NCC 可以附加到同一区域内最多 50 个工作区。
  • 限制和配额
    • 每个帐户每个区域最多 10 个 NCC
    • 每个区域有 100 个专用终结点(分布在 NCC 之间)
    • 每个 NCC 最多 50 个工作区

经典计算平台私有连接

经典计算平面的专用链接保护从Azure Databricks群集到控制平面的连接安全。 群集连接到用于 REST API 的控制平面,并通过安全连接中继实现群集连接的安全性。

经典计算平面 Private Link 地址:

  • 符合性要求:帮助满足严格的法规和公司合规性要求,这些要求所有内部云流量都保留在专用网络上。
  • Network 外围强化:将经典计算平面Private Link与Azure服务的专用终结点一起实现,可以限制网络公开。 这可以降低数据外泄风险,方法是确保数据处理群集在公共 Internet 上没有未经授权的服务或目标的路径。

请参阅 配置后端专用连接

Azure Private Link 后端.

注释

可以独立设置经典计算平面专用连接。 它不需要入站或无服务器连接。

用于专用连接的虚拟网络

专用连接使用两个不同的虚拟网络(VNet)。

  • 传输 VNet:此 VNet 充当用户连接的中心中心,包含客户端访问工作区和基于浏览器的 SSO 身份验证所需的入站专用终结点。
  • Workspace VNet:这是专门为托管Azure Databricks工作区和经典专用终结点而创建的 VNet。

子网分配和大小调整

在每个 VNet 中规划子网以支持专用连接和部署。

  • 中转 VNet 子网

    • 专用终结点子网:为所有入站专用终结点分配 IP 地址。
    • 浏览器身份验证工作区子网:建议使用两个专用子网(一个主机或公共子网和一个容器或专用子网)来部署浏览器身份验证工作区。
  • 工作区 VNet 子网

    • Workspace 子网:Azure Databricks工作区部署本身需要两个子网(主机或公共子网和容器或专用子网)。 有关工作区子网的大小调整信息,请参阅 地址空间指南
    • 经典专用终结点子网:为经典计算平面专用连接托管专用终结点需要额外的子网。

大小取决于你的单个实现需求,但你可以使用以下指南:

VNet 子网用途 建议的 CIDR 范围
交通 专用终结点子网 /26 to /25
交通 浏览器身份验证工作区 /28/27
Workspace 经典专用终结点子网 /27

Azure Databricks专用终结点

Azure Databricks使用两种不同的专用终结点类型来私有化流量。 了解其不同的角色以正确实现它们。

  • 工作区终结点 (databricks_ui_api:这是用于保护传入和传出工作区的流量的主要专用终结点。 它负责处理入站和经典计算平面专用链接的 REST API 调用。
  • Web 身份验证终结点(browser_authentication:这是一个专用的附加终结点,仅用于在专用连接上通过 Web 浏览器实现单点登录(SSO)。 入站连接和端到端连接是必需的。

对于专用终结点,请注意以下事项:

  • 共享终结点:专用终结点可以在使用同一工作区 VNet 的多个工作区之间共享,因为它们是 VNet 级资源。 一组专用终结点可以为该 VNet 和区域中部署的所有工作区提供服务。
  • 特定于区域:专用终结点是特定于区域的资源。 不同区域中的工作区需要单独的专用终结点配置。

关键注意事项

在配置专用连接之前,请记住以下几点: