本文介绍用于部署和管理 Azure Databricks 帐户和工作区的网络配置。
注释
当 Azure Databricks 的无服务器工作负载连接到客户资源时,会产生网络费用。 请参阅了解 Databricks 无服务器网络成本。
Azure Databricks 体系结构概述
Azure Databricks 在控制平面和计算平面中运行。
控制平面包括 Azure Databricks 在你的 Azure Databricks 帐户中管理的后端服务。 该 Web 应用程序位于控制平面中。
计算平面是处理数据的位置。 根据所使用的计算,存在两种类型的计算平面。
- 对于经典 Azure Databricks 计算,计算资源位于 Azure 订阅中的所谓“经典计算平面”。 这是指Azure订阅及其资源中的网络。 经典计算平面资源位于工作区所在的区域中。
- 对于无服务器计算,无服务器计算资源在 Azure Databricks 帐户中的 无服务器计算平面中运行。 无服务器计算平面资源与工作区的经典计算平面位于同一云区域中。 需要在创建工作区时选择此区域。
若要详细了解经典计算和无服务器计算,请参阅 “计算”。 有关其他体系结构信息,请参阅 高级体系结构。
安全网络连接
Azure Databricks 默认提供安全的网络环境,但如果组织有其他需求,则可以在下图所示的不同网络连接之间配置网络连接功能。
用户和应用程序到Azure Databricks:可以配置功能来控制访问权限,并提供用户与其Azure Databricks工作区之间的专用连接。 请参阅 用户至 Azure Databricks 网络相关信息。
控制平面和经典计算平面:经典计算资源(如群集)部署在Azure订阅中并连接到控制平面。 可以使用经典网络连接功能在自己的虚拟网络中部署经典计算平面资源,并启用从群集到控制平面的专用连接。 请参阅经典计算平面网络。
无服务器计算平台和存储:可以配置从无服务器计算到存储的专用连接。 请参阅无服务器计算平面网络。
可以配置Azure storage网络功能,例如专用终结点,以保护经典计算平面与Azure资源之间的连接。 请参阅 为 Azure Databricks 工作区授予对 Azure 数据湖存储的访问权限 和 湖仓联盟的网络建议。
可以为工作区的存储账户启用防火墙支持,以限制来自授权网络和连接的访问权限。 请参阅为工作区存储帐户启用防火墙支持。
控制平面与无服务器计算平面之间的连接始终通过Azure网络主干而不是公共 Internet。
开始使用
了解 Databricks 网络体系结构并探索关键概念。
| 主题 | Description |
|---|---|
| Databricks 体系结构概述 | 了解构成 Databricks 网络基础的控制平面和计算平面体系结构。 |
| Azure Private Link | 使用 Azure Private Link 在网络与 Databricks 之间建立专用连接,以提高安全性。 |
| 了解数据传输和连接成本 | 了解数据传输定价并优化网络连接功能的成本。 |
Connectivity
配置用于工作区入站访问和从计算资源出站连接的安全网络连接。
| 主题 | Description |
|---|---|
| 前端网络 | 为用户配置通过网页界面和 API 连接到 Databricks 工作区的网络访问控制。 |
| Front-end Private Link | 使用 Azure Private Link 启用从企业网络到 Databricks 工作区的专用连接。 |
| 无服务器计算平面网络 | 在无服务器计算资源与您的数据源和服务之间配置安全网络访问。 |
| 经典计算平面网络 | 了解在您的虚拟网络中部署的经典计算资源的网络选项。 |
| 在你的 VNet 中部署 Azure Databricks | 在自己的 Azure VNet 中托管 Databricks 群集,以便增强网络控制(VNet 注入)。 |
| 对等虚拟网络 | 将 Databricks VNet 连接到您的 Azure 订阅中的其他 VNet,以便访问更多资源。 |
| 将工作区连接到本地网络 | 使用 VPN 或 Azure ExpressRoute 将公司网络扩展到 Databricks。 |
| 后端专用链接 | 在经典计算资源和 Databricks 控制平面之间建立专用连接。 |
| 用户定义的路由设置 | 配置用户定义的路由(UDR),以控制来自 Databricks 群集的流量流。 |
| 更新工作区网络配置 | 修改现有工作区的网络配置。 |
| 安全群集连接 | 启用从群集到控制平面的仅限出站连接,且没有打开的入站端口。 |
网络安全
实施安全控制以限制和监视网络access。
| 主题 | Description |
|---|---|
| 什么是无服务器出口控件? | 限制来自无服务器计算资源的出站网络连接,以防止数据外泄并强制实施符合性。 |
| 管理无服务器出口控制的网络策略 | 创建和管理用于定义允许从无服务器计算的出口连接的网络策略。 |
| IP访问列表概述 | 了解如何使用 IP 访问列表来控制哪些 IP 地址可以访问 Databricks 的工作区。 |
| 工作区的IP访问列表 | 配置工作区级IP访问控制,以限制来自已批准网络的访问。 |
| 账户控制台的IP访问列表 | 设置跨多个工作区应用的帐户级 IP 限制,以便进行集中式安全管理。 |
| 配置服务终结点策略以便于存储访问 | 使用Azure服务终结点来保护 Databricks 和 Azure Storage 帐户之间的连接。 |
| 启用工作区存储帐户的防火墙支持 | 配置 Azure Storage 防火墙规则,以允许从 Databricks 经典计算资源访问。 |
| 域名防火墙规则 | 配置基于域的防火墙规则,以允许 Databricks 服务通过网络安全控制。 |
| 用于防火墙支持的 ARM 模板 | 使用 Azure 资源管理器模板为工作区存储帐户自动配置防火墙。 |