本文介绍用于部署和管理 Azure Databricks 帐户与工作区的网络配置。
Azure Databricks 体系结构概述
Azure Databricks 在控制平面和计算平面上运行。
控制平面包括 Azure Databricks 在 Azure Databricks 帐户中管理的后端服务。 该 Web 应用程序位于控制平面中。
计算平面是处理数据的位置。 根据所使用的计算,存在两种类型的计算平面。
- 对于经典 Azure Databricks 计算,计算资源位于 Azure 订阅中称为经典计算平面的部分中。 这是指 Azure 订阅及其资源中的网络。 经典计算平面资源位于工作区所在的区域中。
若要详细了解经典计算和无服务器计算,请参阅 “计算”。 有关其他体系结构信息,请参阅 高级体系结构。
安全网络连接
默认情况下,Azure Databricks 会提供安全的网络环境,但如果组织具有其他需求,则可以在下图所示的不同网络连接之间配置网络连接功能。
用户和应用程序到 Azure Databricks:可以配置用于控制访问的功能,并在用户与其 Azure Databricks 工作区之间提供专用连接。 请参阅用户到 Azure Databricks 网络。
控制平面和经典计算平面:经典计算资源(例如群集)部署在 Azure 订阅中并连接到控制平面。 可以使用经典网络连接功能在自己的虚拟网络中部署经典计算平面资源,并启用从群集到控制平面的专用连接。 请参阅经典计算平面网络。
可以配置 Azure 存储网络功能,例如用于保护经典计算平面与 Azure 资源之间的连接的专用终结点。 请参阅 授予 Azure Databricks 工作区访问 Azure Data Lake Storage 权限 和 Lakehouse 联合的网络建议。
还可以为工作区存储帐户启用防火墙支持,以限制从授权网络和连接进行的对该帐户的访问。
开始
了解 Databricks 网络体系结构并探索关键概念。
| 主题 | Description |
|---|---|
| Databricks 体系结构概述 | 了解构成 Databricks 网络基础的控制平面和计算平面体系结构。 |
| Azure 专用链接 | 使用 Azure 专用链接在网络与 Databricks 之间建立专用连接,以提高安全性。 |
Connectivity
配置安全网络连接,以便对工作区的入站访问和从计算资源的出站连接。
| 主题 | Description |
|---|---|
| 前端网络 | 为通过 Web 界面和 API 连接到 Databricks 工作区的用户配置网络访问控制。 |
| 前端专用链接 | 使用 Azure 专用链接启用从企业网络到 Databricks 工作区的专用连接。 |
| 经典计算平面网络 | 了解虚拟网络中部署的经典计算资源的网络选项。 |
| 在 VNet 中部署 Azure Databricks | 在自己的 Azure VNet 中托管 Databricks 群集,以增强网络控制(VNet 注入)。 |
| 对等虚拟网络 | 将 Databricks VNet 连接到 Azure 订阅中的其他 VNet,以访问其他资源。 |
| 将工作区连接到本地网络 | 使用 VPN 或 Azure ExpressRoute 将企业网络扩展到 Databricks。 |
| 后端专用链接 | 在经典计算资源和 Databricks 控制平面之间建立专用连接。 |
| 用户定义的路由设置 | 配置用户定义的路由(UDR),以控制来自 Databricks 群集的流量流。 |
| 更新工作区网络配置 | 修改现有工作区的网络配置。 |
| 安全群集连接 | 启用从群集到控制平面的仅限出站连接,且没有打开的入站端口。 |
网络安全
实施安全控制来限制和监视网络访问。
| 主题 | Description |
|---|---|
| IP 访问列表概述 | 了解如何使用 IP 访问列表来控制哪些 IP 地址可以访问 Databricks 工作区。 |
| 工作区的 IP 访问列表 | 配置工作区级 IP 访问控制以限制来自已批准的网络的访问。 |
| 帐户控制台的 IP 访问列表 | 设置跨多个工作区应用的帐户级 IP 限制,以便进行集中式安全管理。 |
| 配置用于存储访问的服务终结点策略 | 使用 Azure 服务终结点来保护 Databricks 和 Azure 存储帐户之间的连接。 |
| 域名防火墙规则 | 配置基于域的防火墙规则,以允许 Databricks 服务通过网络安全控制。 |
| 防火墙支持的 ARM 模板 | 使用 Azure 资源管理器模板自动配置工作区存储帐户的防火墙配置。 |