配置经典计算平台与 Azure Databricks 的私有连接

使用 Azure 专用链接为 Azure Databricks 工作区创建安全的 经典计算平面专用链接连接 。 此连接可保护经典计算平面上的群集与 Azure Databricks 控制平面上核心服务之间的流量。

为何仅选择经典计算平面专用链接连接？

配置经典计算平面专用链接连接可为数据处理环境提供关键的安全性和符合性优势：

  • 增强的安全性：防止Azure Databricks群集通过公共互联网与控制平面通信。
  • 符合性要求：帮助满足严格的法规和公司合规性要求，这些要求所有内部云流量都保留在专用网络上。
  • 数据外泄控制：保护计算平面连接可降低数据外泄的风险。
  • 消除公共 IP 地址：与安全群集连接配合使用，以启用完全专用的计算环境，群集上没有公共 IP 地址。

体系结构概述

在经典计算平面专用链接设置中，可以直接在工作区 VNet（虚拟网络）中部署专用终结点。 此终结点为Azure Databricks群集提供一个专用路径，用于控制平面服务，例如安全群集连接中继。 所有流量都流经Microsoft Azure主干网络，永远不会接触公共 Internet。

Azure 专用链接网络体系结构.

要求

  • 工作区必须在高级方案中。
  • 已使用 VNet 注入部署Azure Databricks 工作区。
  • 必须具有Azure权限才能创建专用终结点和管理 DNS 记录。

网络配置

  • 为以下内容配置的中转 VNet：
    • 它充当连接到Azure网络的所有用户/客户端流量的主要传输点。
    • 它为本地或其他外部网络提供集中式连接。
    • 它管理共享服务，并包含出站 Internet 流量的主要路由（出口）。
  • 专用子网必须存在于您的工作区 VNet 中，专用于私有终结点。 如果不存在，请创建它。
  • 你的private DNS区域由Azure DNS管理。

最佳做法

Azure Databricks 建议采取以下措施来实现具备可复原性和易管理性的设置：

  • 体系结构：网络必须遵循Microsoft推荐的中心辐射型体系结构。 请参阅 Azure 中的 中心辐射型网络拓扑。
  • 独立身份验证工作区：为了提高复原能力，请在传输 VNet 中创建单独的浏览器身份验证工作区。 此专用工作区托管 browser_authentication 专用终结点，并在删除其他工作区时阻止单一故障点。

配置路径

选择与方案匹配的路径：

选项 1：为新工作区配置

选项 1：为新工作区配置

按照以下步骤使用经典计算平面专用链接连接部署新的 Azure Databricks 工作区。

创建资源组

  1. 在Azure portal中，选择资源组并单击create。
  2. 为资源组命名。 验证 区域 是否与部署 VNet 的区域匹配。

创建 VNet

在自己的 Azure 订阅中创建客户管理的 VNet 或工作区 VNet。 选择 VNet 注入时，Azure Databricks 直接在此专用的安全网络中部署其计算资源。 在步骤 3 中需要此 VNet。

  1. 转到 虚拟网络 并单击“ 创建”。
  2. 将其分配给刚刚创建的资源组，并提供描述性名称。
  3. 选择要托管 Azure Databricks 工作区的区域。
  4. 定义 VNet 的 IP 地址空间，例如 10.10.0.0/16。 系统会提示创建具有其自己的范围的初始子网，例如 10.10.1.0/24。
  5. 选择查看 + 创建，然后选择创建。

创建新的工作区

  1. 在Azure portal中，搜索并选择Azure Databricks。 单击 “创建” 。
  2. 选择刚刚创建的资源组。 验证 区域 是否与资源组和 VNet 匹配。
  3. Azure Databricks 建议在 Managed 资源组名称中添加“managed”作为前缀。
  4. 在“ 网络 ”选项卡上，配置以下内容：
    1. 部署不含公共 IP 的安全群集连接的 Azure Databricks 工作区：选择 是。
    2. 在自己的虚拟网络（VNet）中部署 Azure Databricks 工作区：选择 是。
    3. 选择之前创建的工作区 VNet。
    4. 为工作区创建两个子网。 Azure Databricks 建议为每个子网命名一些易于识别的内容，例如 private-worker-subnet 或 public-host-subnet。
    5. 允许公共网络访问：选择已启用。
    6. Required NSG 规则：选择 无 Azure Databricks 规则。
    7. 部署 Azure Databricks 工作区与 NAT 网关：选择 No。

注意

仅为经典计算平面专用链接连接选择 “无 Azure Databricks 规则 ”。

创建专用终结点

  1. 转到 专用终结点。
    1. 在 “专用终结点”下，单击“ 添加”。
  2. 配置databricks_ui_api的终结点：
    1. 名字： 输入描述性名称，例如 private-endpoint-front-end-ui。
    2. 目标子资源： 选择 databricks_ui_api。
    3. Virtual network： 选择工作区 VNet。
      • 工作区 VNet 及其专用终结点子网提供安全的直接网络路径，允许工作区以私密方式访问其经典计算平面服务。
    4. Region：验证区域是否与 Azure Databricks 工作区匹配。

部署后，继续执行 共享步骤。

选项 2：配置现有工作区

选项 2：配置现有工作区

重要

在开始之前，请停止工作区中的所有计算资源，例如群集和 SQL 仓库。 如果运行任何计算资源，更新将失败。

更新工作区网络设置

  1. 转到Azure portal中的 Azure Databricks 工作区。
  2. 在 “设置”下，单击“ 网络”。
  3. 确认 安全群集连接（无公共 IP） 设置为 “是”。
  4. 将所需的 NSG 规则更改为 NoAzureDatabricksRules。
  5. 单击“ 保存”。 网络更新可能需要 15 分钟才能完成。

在工作区 VNet 上创建专用终结点

  1. 在工作区的 “网络 ”选项卡中，选择 “专用终结点连接”。
  2. 单击 “加号”图标。专用终结点。
  3. 选择终结点的资源组，提供一个名称，例如my-workspace-fe-pe，并验证地区是否与您的工作区相匹配。
  4. 在“ 资源 ”选项卡上，将 “目标”子资源 设置为 databricks_ui_api。
  5. 选择与工作区关联的 VNet。
  6. 选择您的专用终结点子网。
  7. 验证与私有 DNS 区域集成设置为是。 Azure自动选择 privatelink.databricks.azure.cn 区域。 如果尚不存在，Azure会显示新的 privatelink.databricks.azure.cn 区域。

共享步骤

验证 DNS

如果使用内置Azure private DNS集成，Azure会自动为工作区创建 DNS 地址记录。

  1. 验证private DNS区域记录：
    1. 在Azure portal中，搜索并导航到名为 的 privatelink.databricks.azure.cn。
    2. 验证是否存在以下 A 记录，并指向终结点的专用 IP 地址：
      1. 工作区 UI/API 记录：
        • 名称：唯一的工作区 ID，例如 adb-xxxxxxxxxxxxxxxx.x
        • 值：专用终结点的 databricks_ui_api 专用 IP 地址。
      2. 浏览器身份验证记录：
        • 名称： pl-auth.<your_region>. UI 需要此记录名称才能完成身份验证过程。 您必须遵循该格式，以便 pl-auth DNS 名称能够正确解析到您的专用终结点。
        • 值：专用终结点的 browser_authentication 专用 IP 地址。

注意

工作区 VNet 中的计算资源必须将工作区 URL 解析为专用终结点 IP，而不是公共 IP。 将 privatelink.databricks.azure.cn 专用 DNS 区域链接到您的工作区 VNet，或者如果您使用中心-辐射架构，请配置 DNS 转发。

通过启动群集来验证经典计算平面专用链接连接。

  1. 登录到 Azure Databricks 工作区。
  2. 转到边栏中的 “计算 ”。
  3. 单击“ 创建计算”，为其命名，然后单击“ 创建”。

群集启动可能需要几分钟时间。 成功的群集启动是一个很好的第一次检查，但必须运行简单的查询或笔记本命令才能完全确认连接是否正常工作。

  • 如果群集在 10-15 分钟后无法启动并且群集事件日志显示错误（如 Cluster terminated. Reason: Control Plane Request Failure），则专用链接设置配置不正确。 查看此页上的步骤以排查该问题。
  • Last updated on