附加在虚拟网络 (VNet) 中受保护的 Azure Databricks 计算
可以使用 VNet 限制传入和传出网络通信,从而保护 Azure 机器学习和 Azure Databricks。 当两个服务都配置为使用 VNet 时,可以使用专用终结点允许 Azure 机器学习将 Azure Databricks 附加为计算资源。
本文中的信息假定为 Azure 机器学习工作区和 Azure Databricks 配置了两个单独的 Azure 虚拟网络。 若要在两个服务之间启用通信,请使用 Azure 专用链接。 在其他服务的 VNet 中为每个服务创建了专用终结点。 添加了 Azure 机器学习的专用终结点,以便与 Azure Databricks 使用的 VNet 通信。 添加了 Azure Databricks 的专用终结点,以便与 Azure 机器学习使用的 VNet 通信。
先决条件
配置了网络隔离的 Azure 机器学习工作区。
在虚拟网络中配置的 Azure Databricks 部署(VNet 注入)。
重要
Azure Databricks 需要两个子网(有时称为专用子网和公共子网)。 这两个子网都是委托的,在创建专用终结点时,Azure 机器学习工作区无法使用它们。 建议将第三个子网添加到 Azure Databricks 使用的 VNet,并将此子网用于专用终结点。
Azure 机器学习和 Azure Databricks 使用的 VNet 必须使用一组不同的 IP 地址范围。
限制
不支持 Azure 机器学习控制平面需要与 Azure Databricks 控制平面通信的场景。 目前,我们唯一确定存在问题的场景是在机器学习管道中使用 DatabrickStep 时。 若要绕过此限制,请允许公共访问工作区。 这可以是使用未配置专用链接的工作区,也可以使用有专用链接配置为允许公共访问的工作区。
为 Azure 机器学习创建专用终结点
若要允许 Azure 机器学习工作区与 Azure Databricks 正在使用的 VNet 通信,请使用以下步骤:
从 Azure 门户,选择你的 Azure 机器学习工作区。
在边栏中,依次选择“网络”、“专用终结点连接”和“+ 专用终结点”。
在“创建专用终结点”窗体中,输入新专用终结点的名称。 根据场景需要调整其他值。
选择“下一步”,直到到达“虚拟网络”选项卡。选择 Azure Databricks 使用的虚拟网络,以及要使用专用终结点连接到的子网。
选择“下一步”,直到可以选择“创建”来创建资源。
为 Azure Databricks 创建专用终结点
若要允许 Azure Databricks 与 Azure 机器学习工作区正在使用的 VNet 通信,请使用以下步骤:
从 Azure 门户,选择你的 Azure Databricks 实例。
在边栏中,依次选择“网络”、“专用终结点连接”和“+ 专用终结点”。
在“创建专用终结点”窗体中,输入新专用终结点的名称。 根据场景需要调整其他值。
选择“下一步”,直到到达“虚拟网络”选项卡。选择 Azure 机器学习使用的虚拟网络,以及要使用专用终结点连接到的子网。
附加 Azure Databricks 计算
在 Azure 机器学习工作室中,选择你的工作区,然后从边栏选择“计算”。 依次选择“附加的计算”、“+ 新建”和“Azure Databricks”。
在“附加 Databricks 计算”窗体中,提供以下信息:
- 计算名称:要添加的计算的名称。 此值可以不同于你的 Azure Databricks 工作区的名称。
- 订阅:包含 Azure Databricks 工作区的订阅。
- Databricks 工作区:要附加的 Azure Databricks 工作区。
- Databricks 访问令牌:有关生成令牌的信息,请参阅 Azure Databricks 个人访问令牌。
选择“附加”以完成过程。