网络参考体系结构概述

不同的组织有不同的网络隔离要求。 本页概述了三种常见要求的参考体系结构。 确定最适合网络拓扑、数据管理需求和出口控制策略的体系结构。

Databricks 体系结构

Azure Databricks 在控制平面计算平面中运行。

  • 控制平面包括 Azure Databricks 在你的 Azure Databricks 帐户中管理的后端服务。 该 Web 应用程序位于控制平面中。
  • 计算平面是处理数据的位置。 根据所使用的计算,存在两种类型的计算平面。
    • 对于经典 Azure Databricks 计算,计算资源位于 Azure 订阅中的所谓“经典计算平面”。 这是指 Azure 订阅及其资源中的网络。 经典计算平面资源与工作区位于同一区域。
    • 对于无服务器计算,无服务器计算资源在 Azure Databricks 帐户中的 无服务器计算平面中运行。 无服务器计算平面资源与工作区的经典计算平面位于同一云区域中。 需要在创建工作区时选择此区域。

若要详细了解经典计算和无服务器计算,请参阅 “计算”。 有关其他体系结构信息,请参阅 高级体系结构

网络连接类型

默认情况下,Databricks 提供了一个安全的网络环境,但如果组织有其他需求,则可以在不同的网络连接之间配置网络连接功能。 每种架构都会针对三种类型的网络连接配置各项功能:

  1. 入站:用户和应用程序到 Azure Databricks:您可以配置相关功能,以控制访问并在用户与其 Azure Databricks 工作区之间提供私有连接。 请参阅用户访问 Azure Databricks 网络配置
  2. Classic:控制平面和经典计算平面:经典计算资源(如群集)部署在Azure订阅中并连接到控制平面。 可以使用经典网络连接功能在自己的虚拟网络中部署经典计算平面资源,并启用从群集到控制平面的专用连接。 请参阅经典计算平面网络
  3. Outbound:无服务器计算平面和存储:可以在资源上配置防火墙,以允许从Azure Databricks无服务器计算平面进行访问。 请参阅无服务器计算平面网络

使用下图可视化数据流经 Databricks 的方式。

网络连接性概述图

选择网络体系结构

这些体系结构以递进方式为每种连接类型提供网络安全。 从托管式安全开始,将其作为基线,并随着需求的提高逐步增加控制措施。 大多数组织在迁移到完全专用连接之前强化入口和出口。

Architecture Description
托管安全 起点。 由 Azure Databricks 托管且采用默认安全配置的基础架构:客户管理的 VPC、已启用 SCC、用于专用控制平面连接的经典计算平面 专用链接,以及开箱即用的无服务器稳定 IP。 无需自定义网络。 在这一基线基础上应用 Unity Catalog 控制措施,以实现数据治理。
强化的连接 在托管安全性的基础上进一步加强入站和出站安全。 添加用于工作区和账户控制台访问的 IP 访问列表、用于云服务访问的 VPC 终端节点、无服务器出站控制(网络策略和 NCC 私有终端节点),以及用于全面出站流量检查的可选外部防火墙。 最适合那些必须具有可审核性和访问控制且无需消除公共终结点的组织。
独立环境 在加固连接的基础上,将所有访问设为私有。 新增传入 专用链接,因此工作区访问不再经由公共互联网。 需要外部防火墙(在强化连接中为可选项)才能对出站流量进行全面检查。 适用于对数据外泄有严格要求的受监管行业(金融服务、医疗、政府)。

特征矩阵

下表显示了适用于每个体系结构的网络安全功能:

连接 功能 托管安全性 强化的连接 隔离环境
经典计算 安全群集连接 (SCC)
经典计算 VNet 注入
经典计算 经典计算平面专用链接
Inbound 工作区入站 专用链接
Inbound 性能密集型服务的入站专用链接
Inbound 工作区 IP 访问列表
Inbound 帐户级 IP 访问列表
Inbound Delta Sharing IP 访问列表
出境 无服务器出口控制
出境 无服务器专用连接(NCC 私有端点)
出境 无服务器静态 IP
出境 外部防火墙 Optional Optional

其他资源

资源 Description
Databricks 安全最佳做法 安全参考体系结构、安全分析工具(SAT)和 AWS 安全白皮书。
网络成本 规划和管理多个 Azure Databricks 部署中的网络成本。