使用虚拟网络保护 Azure 机器学习工作区

适用范围：Azure CLI ml 扩展 v2（最新版）Python SDK azure-ai-ml v2（最新版）

本文中介绍如何在 Azure 虚拟网络中保护 Azure 机器学习工作区及其关联资源。

本文是介绍如何保护 Azure 机器学习工作流系列文章的一部分。 请参阅本系列中的其他文章：

• 虚拟网络概述
• 保护训练环境
• 保护推理环境
• 启用工作室功能
• 使用自定义 DNS
• 使用防火墙
• API 平台网络隔离

有关创建安全工作区的教程，请参阅教程：创建安全工作区、Bicep 模板或 Terraform 模板。

本文介绍如何在虚拟网络中启用以下工作区资源：

先决条件

• 阅读网络安全概述一文，了解常见的虚拟网络方案和总体虚拟网络体系结构。

• 请阅读 Azure 机器学习之企业安全最佳实践一文，了解最佳做法。

• 用于计算资源的现有虚拟网络和子网。

  警告

  请勿对你的 VNet 使用 172.17.0.0/16 IP 地址范围。 这是 Docker 桥接网络使用的默认子网范围，如果用于你的 VNet，则会导致错误。 其他范围可能也会根据你要连接到虚拟网络的内容而发生冲突。 例如，如果计划将本地网络连接到 VNet，并且本地网络也使用 172.16.0.0/16 范围，则会发生冲突。 最终，需要由你来规划网络基础结构。

• 若要将资源部署到虚拟网络或子网中，你的用户帐户必须在 Azure 基于角色的访问控制 (Azure RBAC) 中具有以下操作的权限：

  • 虚拟网络资源上的“Microsoft.Network/*/read”。 对于 Azure 资源管理器 (ARM) 模板部署，不需要此权限。
  • “Microsoft.Network/virtualNetworks/join/action”（在虚拟网络资源上）。
  • "Microsoft.Network/virtualNetworks/subnets/join/action"（在子网资源上）。

  若要详细了解如何将 Azure RBAC 与网络配合使用，请参阅网络内置角色

Azure 容器注册表

• Azure 容器注册表必须是高级版。 若要详细了解如何升级，请参阅更改 SKU。

• 如果 Azure 容器注册表使用专用终结点，建议该终结点与用于训练或推理的存储帐户和计算目标位于同一虚拟网络中。 不过，它也可以位于对等互连虚拟网络中。

  如果它使用服务终结点，则它必须与存储帐户和计算目标在同一虚拟网络和子网中。

• Azure 机器学习工作区必须包含 Azure 机器学习计算群集。

限制

Azure 存储帐户

• 如果计划使用 Azure 机器学习工作室并且存储帐户也在虚拟网络中，则存在额外的验证要求：

  • 如果存储帐户使用服务终结点，则工作区专用终结点和存储服务终结点必须位于虚拟网络的同一子网中。
  • 如果存储帐户使用专用终结点，则工作区专用终结点和存储专用终结点必须位于同一虚拟网络中。 在这种情况下，它们可以位于不同的子网中。

Azure 容器实例

使用专用终结点配置 Azure 机器学习工作区时，不支持部署到虚拟网络中的 Azure 容器实例。 相反，请考虑使用具有网络隔离的托管联机终结点。

Azure 容器注册表

为 Azure 机器学习工作区或任何资源配置了专用终结点时，可能需要为 AzureML 环境映像生成设置用户管理的计算群集。 默认方案是利用无服务器计算，此方案目前适用于与 AzureML 工作区关联的资源没有网络限制的情况。

Azure Monitor

所需的公共 Internet 访问权限

Azure 机器学习需要对公共 Internet 进行入站和出站访问。 下表概述了需要的访问权限及其用途。 对于以 .region 结尾的服务标记，请将 region 替换为包含你的工作区的 Azure 区域。 例如，Storage.chinanorth：

可能还需要允许出站流量发往 Visual Studio Code 和非 Microsoft 站点，以便安装机器学习项目所需的包。 下表列出了用于机器学习的常用存储库：

主机名	目的
anaconda.com *.anaconda.com	用于安装默认包。
*.anaconda.org	用于获取存储库数据。
pypi.org	用于列出默认索引的依赖项（如果有），索引不会被用户设置覆盖。 如果索引被覆盖，则还必须允许 *.pythonhosted.org。
cloud.r-project.org	在安装用于 R 开发的 CRAN 包时使用。
*.pytorch.org	由基于 PyTorch 的一些示例使用。
*.tensorflow.org	由基于 Tensorflow 的一些示例使用。
code.visualstudio.com	下载和安装 Visual Studio Code 桌面时需要。 Visual Studio Code Web 不需要。
update.code.visualstudio.com *.vo.msecnd.net	用于检索通过安装脚本安装在计算实例上的 Visual Studio Code 服务器位。
marketplace.visualstudio.com vscode.blob.core.chinacloudapi.cn *.gallerycdn.vsassets.io	下载和安装 Visual Studio Code 扩展时需要。 这些主机会启用与适用于 Visual Studio Code 的 Azure ML 扩展提供的计算实例的远程连接。 有关详细信息，请参阅在 Visual Studio Code 中连接到 Azure 机器学习计算实例。
raw.githubusercontent.com/microsoft/vscode-tools-for-ai/master/azureml_remote_websocket_server/*	用于检索安装在计算实例上的 websocket 服务器位。 websocket 服务器用于将来自 Visual Studio Code 客户端（桌面应用程序）的请求传输到计算实例上运行的 Visual Studio Code 服务器。

将 Azure Kubernetes Service (AKS) 与 Azure 机器学习一起使用时，请允许将以下流量发送到 AKS VNet：

• AKS 的一般入站/出站要求，如限制 Azure Kubernetes 服务中的出口流量一文中所述。
• 发往 mcr.microsoft.com 的出站流量。
• 将模型部署到 AKS 群集时，请遵循将 ML 模型部署到 Azure Kubernetes 服务一文中的指导。

有关使用防火墙解决方案的信息，请参阅配置所需的输入和输出通信。

通过专用终结点保护工作区

使用 Azure 专用链接，可以通过专用终结点连接到工作区。 专用终结点是虚拟网络中的一组专用 IP 地址。 然后，你可以限制工作区访问权限，只允许通过专用 IP 地址访问你的工作区。 专用终结点有助于降低数据泄露风险。

有关为工作区配置专用终结点的信息，请参阅如何配置专用终结点。

保护 Azure 存储帐户

Azure 机器学习支持将存储帐户配置为使用专用终结点或服务终结点。

保护 Azure Key Vault

Azure 机器学习使用关联的 Key Vault 实例存储以下凭据：

• 关联的存储帐户连接字符串
• Azure 容器存储库实例的密码
• 数据存储的连接字符串

可以将密钥保管库配置为使用专用终结点或服务终结点。 若要在虚拟网络的后面将 Azure 机器学习试验功能与 Azure Key Vault 配合使用，请执行以下步骤：

启用 Azure 容器注册表 (ACR)

可以将 Azure 容器注册表配置为使用专用终结点。 使用以下步骤将工作区配置为在虚拟网络中时使用 ACR：

1. 请使用以下方法之一查找工作区的 Azure 容器注册表的名称：

   • Azure CLI
   • Python SDK
   • 门户

   适用于：Azure CLI ml 扩展 v2（当前）

   如果安装了用于 Azure CLI 的机器学习扩展 v2，可以运行 az ml workspace show 命令来显示工作区信息。 v1 扩展不返回此信息。

   az ml workspace show -n yourworkspacename -g resourcegroupname --query 'container_registry'
   

   此命令会返回类似于 "/subscriptions/{GUID}/resourceGroups/{resourcegroupname}/providers/Microsoft.ContainerRegistry/registries/{ACRname}" 的值。 此字符串的最后一部分是工作区的 Azure 容器注册表的名称。

2. 按照以私有方式连接到 Azure 容器注册表中的步骤，限制对虚拟网络的访问权限。 添加虚拟网络时，为 Azure 机器学习资源选择虚拟网络和子网。

3. 将工作区的 ACR 配置为允许受信任的服务进行访问。

4. 默认情况下，Azure 机器学习将尝试使用无服务器计算来生成映像。 此操作仅在依赖于工作区的资源（如存储帐户或容器注册表）不受任何网络限制时（专用终结点）才能正常工作。 如果依赖于工作区的资源受网络限制，请改用 image-build-compute。

5. 要设置映像生成计算，请在依赖于工作区的资源所在的 VNet 中创建 Azure 机器学习 CPU SKU 计算群集。 然后，可以将此群集设置为默认映像生成计算，并将其用于从该点开始生成工作区中的每个映像。 使用以下方法之一配置工作区，以使用计算群集生成 Docker 映像。

   重要

   在对映像生成使用计算群集时，将适用以下限制：

   • 仅支持 CPU SKU。
   • 如果使用配置为无公共 IP 地址的计算群集，则必须为群集提供某种方法来访问公共 Internet。 访问存储在 Microsoft 容器注册表上的映像、安装在 Pypi、Conda 等上的包时，需要 Internet 访问。需要配置用户定义的路由 (UDR) 才能访问公共 IP 以访问 Internet。 例如，可以使用防火墙的公共 IP，也可以将虚拟网络 NAT 与公共 IP 配合使用。 有关详细信息，请参阅如何安全地在 VNet 中训练。
   • Azure CLI
   • Python SDK
   • 门户

   可以使用 az ml workspace update 命令设置生成计算。 对于机器学习的 v1 和 v2 Azure CLI 扩展，此命令的功能相同。 在以下命令中，将 myworkspace 替换为工作区名称，将 myresourcegroup 替换为包含工作区的资源组，将 mycomputecluster 替换为计算群集名称：

   az ml workspace update --name myworkspace --resource-group myresourcegroup --image-build-compute mycomputecluster
   

   可以通过执行相同的命令并将计算引用为空格来切换回无服务器计算：--image-build-compute ''。

保护 Azure Monitor 和 Application Insights

若要为 Azure Monitor 和工作区的 Application Insights 实例启用网络隔离，请执行以下步骤：

1. 在 Azure 门户中打开 Application Insights 资源。 “概述”选项卡可能具有工作区属性，也可能没有。 如果它没有该属性，请执行步骤 2。 如果有，则可以直接转到步骤 3。

   提示

   默认情况下，新工作区会创建基于工作区的 Application Insights 资源。 如果工作区是最近创建的，则无需执行步骤 2。

2. 升级工作区的 Application Insights 实例。 有关如何升级的步骤，请参阅迁移到基于工作区的 Application Insights 资源。

3. 创建 Azure Monitor 专用链接范围，并将步骤 1 中的 Application Insights 实例添加到该范围。 有关详细信息，请参阅配置 Azure Monitor 专用链接。

安全连接到工作区

若要连接到 VNet 后面保护的工作区，请使用以下方法之一：

• Azure VPN 网关 - 通过专用连接将本地网络连接到 VNet。 通过公共 Internet 建立连接。 可以使用两种类型的 VPN 网关：

  • 点到站点：每台客户端计算机使用 VPN 客户端连接到 VNet。
  • 站点到站点：VPN 设备将 VNet 连接到本地网络。

• ExpressRoute - 通过专用连接将本地网络连接到云。 通过连接提供商建立连接。

• Azure Bastion - 在此方案中，你将在 VNet 内部创建 Azure 虚拟机（有时称作 Jump Box）。 然后使用 Azure Bastion 连接到 VM。 Bastion 允许在本地 Web 浏览器中使用 RDP 或 SSH 会话连接到 VM。 然后使用 Jump Box 作为开发环境。 由于 Jump Box 位于 VNet 中，因此它可以直接访问工作区。 有关使用 Jump Box 的示例，请参阅教程：创建安全工作区。

如果在连接到工作区时遇到问题，请参阅排查安全工作区连接问题。

工作区诊断

在 Azure 机器学习工作室或 Python SDK 中，可以在工作区上运行诊断。 运行诊断后，将返回检测到的任何问题的列表。 此列表包含指向可能的解决方案的链接。 有关详细信息，请参阅如何使用工作区诊断。

对工作区的公共访问

在某些情况下，可能需要允许从公用网络访问工作区（无需使用安全连接到工作区部分详述的方法通过虚拟网络进行连接）。 通过公共 Internet 的访问使用 TLS 提供保护。

若要实现通过公共网络访问工作区，请采用以下步骤：

1. 在配置工作区的专用终结点后，启用对工作区的公共访问。
2. 配置 Azure 存储防火墙，以允许与通过公共 Internet 连接的客户端的 IP 地址通信。 如果客户端没有静态 IP，则可能需要更改允许的 IP 地址。 例如，如果一位数据科学家在家办公，并且无法与 VNet 建立 VPN 连接。

后续步骤

本文是介绍如何保护 Azure 机器学习工作流系列文章的一部分。 请参阅本系列中的其他文章：

• 虚拟网络概述
• 保护训练环境
• 保护推理环境
• 启用工作室功能
• 使用自定义 DNS
• 使用防火墙
• 教程：创建安全工作区
• Bicep 模板
• Terraform 模板。
• API 平台网络隔离