共用方式為

配置与 Azure Databricks 的专用连接

本页提供有关配置前端专用连接的说明,该连接可保护用户与其 Azure Databricks 工作区之间的连接。

为什么仅选择前端连接?

可能仅出于以下原因选择前端连接:

  • 增强的安全性: 通过限制对专用终结点的所有访问和禁用公共访问,可以最大程度地减少攻击面,并确保所有用户与 Azure Databricks 的交互都通过安全的专用网络进行。
  • 合规性要求: 许多组织具有严格的合规性要求,要求所有数据和管理平面流量都保留在专用网络边界中,即使是对于 Azure Databricks 等 SaaS 服务也是如此。
  • 简化的网络体系结构(适用于特定用例): 如果仅使用无服务器计算,或者与 Azure Databricks 的主要交互是通过 Web UI 或 REST API 进行的,并且无需立即 Azure Databricks(需要后端连接)与数据源建立专用连接,则仅前端设置简化了整个网络设计。
  • 数据外泄防护: 通过防止公共访问并通过专用终结点强制所有流量,可以降低数据外泄的风险,确保只能从经过身份验证的网络环境访问流量。

连接模型

可以通过以下两种方式之一配置专用连接:

  • 无公共访问(建议):此配置禁用对工作区的所有公共访问。 所有用户流量都必须源自通过专用终结点连接的 VNet。 此模型提供最大的安全性,并且是完全流量私有化所必需的。 对于完全流量私有化,还需要一个后端专用链接连接。 请参阅 “启用 Azure 专用链接后端和前端连接”。
  • 混合访问:专用链接处于活动状态,但公共访问仍启用 IP 访问列表。 这样,就可以限制对受信任的 IP 范围(例如已知静态 IP)的公共访问,同时仍利用本地用户专用链接的安全性。

本指南介绍如何实现建议的 “无公共访问 ”模型。 我们使用标准中心辐射型网络拓扑来实现此目的。

体系结构概述

此模型使用两个不同的虚拟网络:

  • 传输 VNet(或中心 VNet):这是中心、预先存在的网络。
  • 主机 VNet(或辐射 VNet):这是一个新网络,专门创建用于托管 Azure Databricks 工作区。

Azure 专用链接网络体系结构。

要求

  • 工作区位于 高级计划中
  • 已使用 VNet 注入部署 Azure Databricks 工作区。
  • 必须具有 Azure 权限才能创建专用终结点和管理 DNS 记录。

为现有工作区配置专用连接

在开始之前,必须停止所有计算资源,例如群集、池或经典 SQL 仓库。 无法运行工作区计算资源,或者升级尝试失败。 Azure Databricks 建议规划升级的下限时间。

  1. “工作区 ”页上,选择“ 计算”。

  2. 选择每个活动计算群集,然后在右上角单击“ 终止”。

步骤 1:验证没有公共访问权限的 VNet 注入工作区

如果选择混合方法,请跳过此步骤。

  1. 在 Azure 门户中导航到 Azure Databricks 工作区。

  2. “设置”下,选择“ 网络 ”选项卡。

  3. 确认以下设置:

    1. 已启用安全群集连接(无公共 IP)。
    2. 自己的虚拟网络(VNet)中部署 Azure Databricks 工作区
    3. “允许公用网络访问”处于禁用状态。 在禁用公共访问之前,请确保具有 VNet 的工作专用网络路径,以避免失去对工作区的访问权限。

步骤 2:在中心 VNet 上创建两个专用终结点

前端专用终结点: databricks_ui_api

  1. 在工作区的 “网络 ”选项卡中,选择 “专用终结点连接”。

  2. 单击 “加号”图标。专用终结点

  3. 选择终结点的资源组,提供一个名称, my-workspace-fe-pe并确保区域与工作区匹配。

  4. “资源”选项卡上 ,将 “目标”子资源 设置为 databricks_ui_api

  5. 选择传输 VNet。 传输 VNet 是网络体系结构中一个单独的预先存在的中心 VNet,用于管理和保护出口流量,通常包含中央防火墙。

  6. 选择托管专用终结点的子网。

  7. 确保 与专用 DNS 区域集成 设置为 “是”。 它应自动选择 privatelink.databricks.azure.cn 区域。

共享专用终结点: browser_authentication

使用以下更改重复上述过程:

  • 名称:使用描述性名称,例如 shared-browser-auth-pe
  • 目标子资源browser_authentication.

注意

如果已配置后端专用链接,则可能已创建 browser_authentication 终结点。 它可以在同一区域中的多个工作区之间共享,因此只需为每个区域创建一次。

步骤 3:配置和验证 DNS

部署专用终结点后,必须验证 DNS 是否正确将 Azure Databricks URL 解析为其新的专用 IP 地址。

  1. 验证专用 DNS 区域记录:

    1. 在 Azure 门户中,搜索并导航到名为privatelink.databricks.azure.cn
    2. 验证是否存在以下 A 记录,并指向终结点的专用 IP 地址:
      1. 工作区 UI/API 记录
        • 名称:唯一的工作区 ID,例如 adb-xxxxxxxxxxxxxxxx.x
        • :专用终结点的 databricks_ui_api 专用 IP 地址。
      2. 浏览器身份验证记录
        • 名称:选择描述性名称,例如 pl-auth.<your_region>
        • :专用终结点的 browser_authentication 专用 IP 地址。

步骤 4:验证连接

  1. 使用 VPN 或 Azure ExpressRoute 连接到配置的 VNet 内部的虚拟机或本地网络。 计算机必须能够使用 Azure 专用 DNS。

  2. 打开命令提示符或终端,并用于 nslookup 验证 DNS 解析。

    
    # Verify the workspace URL resolves to a private IP
    nslookup adb-xxxxxxxxxxxxxxxx.x.databricks.azure.cn
    
    # Expected output:
    # Server:  <your-dns-server>
    # Address: <your-dns-server-ip>
    #
    # Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.databricks.azure.cn
    # Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
    # Aliases: adb-xxxxxxxxxxxxxxxx.x.databricks.azure.cn