安全推出用于实时推理的新部署

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure CLI 和 Azure CLI 的 ml 扩展。 有关详细信息，请参阅安装、设置和使用 CLI (v2)。

  重要

  本文中的 CLI 示例假定你使用的是 Bash（或兼容的）shell。 例如，从 Linux 系统或者适用于 Linux 的 Windows 子系统。

• Azure 机器学习工作区。 如果没有，请使用安装、设置和使用 CLI (v2) 中的步骤创建一个。

• Azure 基于角色的访问控制 (Azure RBAC) 用于授予对 Azure 机器学习中的操作的访问权限。 若要执行本文中的步骤，必须为用户帐户分配 Azure 机器学习工作区的所有者或参与者角色，或者分配一个允许 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 的自定义角色。 有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

• （可选）若要在本地部署，必须在本地计算机上安装 Docker 引擎。 强烈建议选择此选项，以便更轻松地调试问题。

适用范围：Python SDK azure-ai-ml v2（最新版）

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure 机器学习工作区。 如果没有，请使用快速入门：创建工作区资源一文中的步骤创建一个。

• 若要安装 Python SDK v2，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅安装适用于 Azure 机器学习的 Python SDK v2。

• Azure 基于角色的访问控制 (Azure RBAC) 用于授予对 Azure 机器学习中的操作的访问权限。 若要执行本文中的步骤，必须为用户帐户分配 Azure 机器学习工作区的所有者或参与者角色，或者分配一个允许 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 的自定义角色。 有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

• （可选）若要在本地部署，必须在本地计算机上安装 Docker 引擎。 强烈建议选择此选项，以便更轻松地调试问题。

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure 订阅。 如果没有 Azure 订阅，可在开始前创建一个试用帐户。 尝试试用版订阅。

• 一个 Azure 机器学习工作区和一个计算实例。 如果没有，请使用快速入门：创建工作区资源一文中的步骤创建它们。

• Azure 基于角色的访问控制 (Azure RBAC) 用于授予对 Azure 机器学习中的操作的访问权限。 若要执行本文中的步骤，必须为用户帐户分配 Azure 机器学习工作区的所有者或参与者角色，或者分配一个允许 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 的自定义角色。 有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

设置环境变量。

如果尚未为 Azure CLI 指定默认设置，则应保存默认设置。 若要避免多次传入订阅、工作区和资源组的值，请运行此代码：

az account set --subscription <subscription id>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

克隆示例存储库

若要按照本文的说明进行操作，请先克隆示例存储库 (azureml-examples)。 然后转到存储库的 cli/ 目录：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

本教程中的命令位于 cli 目录中的文件 deploy-safe-rollout-online-endpoints.sh 内，YAML 配置文件位于 endpoints/online/managed/sample/ 子目录中。

克隆示例存储库

若要运行训练示例，请先克隆示例存储库 (azureml-examples)。 然后进入 azureml-examples/sdk/python/endpoints/online/managed 目录：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

本文中的信息基于 online-endpoints-safe-rollout.ipynb 笔记本。 该笔记本包含与本文相同的内容，尽管代码的顺序略有不同。

连接到 Azure 机器学习工作区

工作区是 Azure 机器学习的顶级资源，为使用 Azure 机器学习时创建的所有项目提供了一个集中的处理位置。 在本部分，我们将连接到要在其中执行部署任务的工作区。

1. 导入所需的库：

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

   注意

   如果你使用的是 Kubernetes 联机终结点，请从 azure.ai.ml.entities 库导入 KubernetesOnlineEndpoint 和 KubernetesOnlineDeployment 类。

2. 配置工作区详细信息并获取工作区句柄：

   若要连接到工作区，我们需要提供标识符参数 — 订阅、资源组和工作区名称。 我们将在 azure.ai.ml 的 MLClient 中使用这些详细信息来获取所需 Azure 机器学习工作区的句柄。 此示例使用默认的 Azure 身份验证。

    # enter details of your AML workspace
    subscription_id = "<SUBSCRIPTION_ID>"
    resource_group = "<RESOURCE_GROUP>"
    workspace = "<AML_WORKSPACE_NAME>"
   

    # get a handle to the workspace
    ml_client = MLClient(
        DefaultAzureCredential(), subscription_id, resource_group, workspace
    )
   

如果在本地计算机上安装了 Git，则可以按照说明克隆示例存储库。 否则，请按照说明从示例存储库下载文件。

克隆示例存储库

若要按照本文的说明进行操作，请先克隆示例存储库 (azureml-examples)，然后将其更改为 azureml-examples/cli/endpoints/online/model-1 目录。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

从示例存储库下载文件

如果克隆了示例存储库，则本地计算机已有此示例的文件副本，你可以跳到下一部分。 如果未克隆存储库，则可以将其下载到本地计算机。

1. 转到 https://github.com/Azure/azureml-examples/。
2. 转到页面上的“<> 代码”按钮，然后从“本地”选项卡中选择“下载 ZIP”。
3. 找到第一个模型 model-1 的模型文件夹 /cli/endpoints/online/model-1/model 和评分脚本 /cli/endpoints/online/model-1/onlinescoring/score.py。
4. 找到第二个模型 model-2 的模型文件夹 /cli/endpoints/online/model-2/model 和评分脚本 /cli/endpoints/online/model-2/onlinescoring/score.py。

创建联机终结点

首先设置终结点的名称，然后对其进行配置。 在本文中，你将使用 endpoints/online/managed/sample/endpoint.yml 文件来配置终结点。 以下代码片段显示了文件的内容：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

下表描述了 YAML 格式的终结点的参考资料。 若要了解如何指定这些属性，请参阅联机终结点 YAML 参考。 如需了解与托管联机终结点相关的限制，请参阅联机终结点限制。

若要创建联机终结点，请执行以下操作：

1. 设置终结点名称：

   对于 Unix，请运行以下命令（将 YOUR_ENDPOINT_NAME 替换为唯一名称）：

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   重要

   Azure 区域中的终结点名称必须唯一。 例如，在 Azure chinanorth2 区域中，只能有一个名为 my-endpoint 的终结点。

2. 在云中创建终结点：

   运行以下代码，使用 endpoint.yml 文件配置终结点：

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

创建“blue”部署

在本文中，你将使用 endpoints/online/managed/sample/blue-deployment.yml 文件来配置部署的关键方面。 以下代码片段显示了文件的内容：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

若要为终结点创建名为 blue 的部署，请运行以下命令来使用 blue-deployment.yml 文件进行配置

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

在 blue-deployment.yaml 文件中，我们以内联方式指定 path（从中上传文件）。 CLI 会自动上传文件并注册模型和环境。 适用于生产的最佳做法是注册模型和环境，并在 YAML 中指定已注册的名称和版本。 使用格式 model: azureml:my-model:1 或 environment: azureml:my-env:1。

若要执行注册，可以将 model 和 environment 的 YAML 定义提取到单独的 YAML 文件中，并使用命令 az ml model create 和 az ml environment create。 若要详细了解这些命令，请运行 az ml model create -h 和 az ml environment create -h。

有关将模型注册为资产的详细信息，请参阅使用 CLI 在机器学习中将模型注册为资产。 若要详细了解如何创建环境，请参阅使用 CLI & SDK (v2) 管理 Azure 机器学习环境。

创建联机终结点

若要创建托管联机终结点，请使用 ManagedOnlineEndpoint 类。 用户可以使用此类配置终结点的重要方面。

1. 配置终结点：

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import datetime
   
   online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )
   

   注意

   若要创建 Kubernetes 联机终结点，请使用 KubernetesOnlineEndpoint 类。

2. 创建终结点：

   ml_client.begin_create_or_update(endpoint).result()
   

创建“blue”部署

若要为托管联机终结点创建部署，请使用 ManagedOnlineDeployment 类。 用户可以使用此类配置部署的重要方面。 下表描述了 deployment 的属性：

1. 配置 blue 部署：

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS2_v2",
       instance_count=1,
   )
   

   在此示例中，我们以内联方式指定 path（从何处上传文件）。 SDK 会自动上传文件并注册模型和环境。 适用于生产的最佳做法是注册模型和环境，并在代码中指定已注册的名称和版本。

   有关将模型注册为资产的详细信息，请参阅使用 SDK 在机器学习中将模型注册为资产。

   若要详细了解如何创建环境，请参阅使用 CLI & SDK (v2) 管理 Azure 机器学习环境。

   注意

   若要为 Kubernetes 联机终结点创建部署，请使用 KubernetesOnlineDeployment 类。

2. 创建部署：

   ml_client.begin_create_or_update(blue_deployment).result()
   

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.begin_create_or_update(endpoint).result()
   

在 Azure 机器学习工作室中创建托管联机终结点时，必须为该终结点定义初始部署。 在定义部署之前，工作区中必须有一个已注册的模型。 首先，让我们注册要用于部署的模型。

注册模型

模型注册是工作区中的逻辑实体。 此实体可以包含单个模型文件或具有多个文件的目录。 作为生产最佳做法，你应该注册模型和环境。 在本文中创建终结点和部署时，我们假设你已注册包含该模型的模型文件夹。

若要注册示例模型，请执行以下步骤：

1. 转到 Azure 机器学习工作室。

2. 在左侧导航栏中，选择“模型”页。

3. 选择“注册”，然后选择“从本地文件”。

4. 为“模型类型”选择“未指定的类型”。

5. 选择“浏览”，然后选择“浏览文件夹”。

   

6. 从之前克隆或下载的存储库的本地副本选择 \azureml-examples\cli\endpoints\online\model-1\model 文件夹。 出现提示时，请选择“上传”并等待上传完成。

7. 文件夹上传完成后，请选择“下一步”。

8. 为模型输入一个易记名称。 本文中的步骤假定模型已命名为 model-1。

9. 选择“下一步”，然后选择“注册”以完成注册。

10. 重复上述步骤，从之前克隆或下载的存储库本地副本中的 \azureml-examples\cli\endpoints\online\model-2\model 文件夹注册 model-2。

若要详细了解如何使用已注册模型，请参阅注册并使用模型。

有关在工作室中创建环境的信息，请参阅创建环境。

创建托管联机终结点和“蓝色”部署

直接在浏览器中使用 Azure 机器学习工作室创建托管联机终结点。 在工作室中创建托管联机终结点时，必须定义初始部署。 不能创建空的托管联机终结点。

在工作室中创建托管联机终结点的一种方法是从“模型”页面创建。 此方法也提供将模型添加到现有托管联机部署的简单方法。 若要部署之前在“注册模型”部分中注册的名为 model-1 的模型，请执行以下操作：

1. 转到 Azure 机器学习工作室。

2. 在左侧导航栏中，选择“模型”页。

3. 通过选中名称旁边的圆圈来选择名为 model-1 的模型。

4. 选择“部署”>“实时终结点”。

   

   此操作将打开一个窗口，可在其中指定有关终结点的详细信息。

   

5. 输入终结点名称。

6. 保留默认选择：对于计算类型为“托管”，对于身份验证类型为“基于密钥的身份验证”。

7. 选择“下一步”，直到出现“部署”页。 在这里，请执行以下任务：

   • 将部署命名为“蓝色”。
   • 选中“启用 Application Insights 诊断和数据收集”框，以便稍后在工作室中查看终结点活动图。

8. 选择“下一步”以转到“环境”页。 在此处执行以下步骤：

   • 在“选择评分文件和依赖项”框中，浏览并从先前克隆或下载的存储库中选择 \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py 文件。
   • 开始在环境列表上方的搜索框中键入 sklearn，然后选择“AzureML-sklearn-0.24”策展环境。

9. 选择“下一步”以转到“计算”页。 在此处，保留虚拟机“Standard_DS3_v2”的默认选择，并将“实例计数”更改为 1。

10. 选择“下一步”，接受蓝色部署的默认流量分配 (100%)。

11. 查看你的部署设置，然后选择“创建”按钮。

    

或者，也可以通过工作室中的“终结点”页创建托管联机终结点。

1. 转到 Azure 机器学习工作室。

2. 在左侧导航栏中，选择“终结点”页。

3. 选择“+ 新建”。

   

此操作将打开一个窗口，供你指定有关终结点和部署的详细信息。 如前面的步骤 5-11 中所述，输入终结点和部署的设置，接受默认设置，直到系统提示创建部署。

可以运行以下命令来查看现有终结点和部署的状态：

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

应会看到由 $ENDPOINT_NAME 标识的终结点，以及名为 blue 的部署。

使用示例数据测试终结点

可以使用 invoke 命令调用终结点。 我们将使用一个 json 文件发送示例请求。

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

检查状态，查看模型是否已部署且未出错：

ml_client.online_endpoints.get(name=online_endpoint_name)

使用示例数据测试终结点

使用之前创建的 MLClient，我们将获取终结点的句柄。 可以使用具有以下参数的 invoke 命令调用终结点：

• endpoint_name - 终结点的名称
• request_file - 包含请求数据的文件
• deployment_name - 要在终结点中测试的特定部署的名称

我们将使用一个 json 文件发送示例请求。

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

查看托管联机终结点

可以在“终结点”页中查看所有托管联机终结点。 转到终结点的“详细信息”页查找关键信息，包括终结点 URI、状态、测试工具、活动监视器、部署日志和示例使用代码：

1. 在左侧导航栏中，选择“终结点”。 在这里，可以看到工作区中所有终结点的列表。
2. （可选）创建一个基于“计算类型”的筛选器，以便仅显示“托管”计算类型 。
3. 选择一个终结点名称以查看该终结点的“详细信息”页。

使用示例数据测试终结点

使用终结点“详细信息”页中的“测试”选项卡来测试托管联机部署。 提供示例输入并查看结果。

1. 在终结点的详细信息页中选择“测试”选项卡。 已在下拉菜单中选择蓝色部署。
2. 从 json 文件复制示例输入
3. 将示例输入粘贴到测试框中。
4. 选择“测试”。

在按使用联机终结点部署机器学习模型并为其评分所述进行部署时，请在 yaml 部署文件中将 instance_count 设置为值 1。 可以使用 update 命令进行横向扩展：

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

使用前面创建的 MLClient，我们将获取部署的句柄。 可以通过增加或减少 instance_count 来缩放部署。

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

获取终结点详细信息

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

使用以下说明，通过调整实例数来纵向扩展或缩减部署：

1. 在终结点“详细信息”页中。 查找蓝色部署的卡。
2. 选择蓝色部署卡标题中的编辑图标。
3. 将实例计数更改为 2。
4. 选择“更新”。

创建名为 green 的新部署：

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

由于我们尚未将任何流量显式分配给 green，因此分配给它的流量为零。 可使用以下命令对此进行验证：

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

测试新部署

尽管为 green 分配的流量为 0%，但你可以通过指定 --deployment 名称来直接调用它：

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

如果要使用 REST 客户端直接调用部署而不经历流量规则处理过程，请设置以下 HTTP 头：azureml-model-deployment: <deployment-name>。 下面的代码片段使用 curl 直接调用部署。 代码片段应在 Unix/WSL 环境中生效：

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

为托管联机终结点创建新部署并将部署命名为 green：

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.begin_create_or_update(green_deployment).result()

测试新部署

虽然为 green 分配了 0% 的流量，但你仍可以使用 json 文件调用终结点和部署。

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

创建要添加到你的托管联机终结点的新部署，并将该部署命名为 green。

从“终结点详细信息”页

1. 在终结点“详细信息”页中选择“+ 添加部署”按钮。

2. 选择“部署模型”。

3. 选择“下一步”以转到“模型”页，然后选择模型 model-2。

4. 选择“下一步”以转到“部署”页并执行以下任务：

   1. 将部署命名为“green”。
   2. 启用 Application Insights 诊断和数据收集。

5. 选择“下一步”以转到“环境”页。 在此处执行以下步骤：

   • 在“选择评分文件和依赖项”框中，浏览并从先前克隆或下载的存储库中选择 \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py 文件。
   • 开始在环境列表上方的搜索框中键入 sklearn，然后选择“AzureML-sklearn-0.24”策展环境。

6. 选择“下一步”以转到“计算”页。 在此处，保留虚拟机“Standard_DS3_v2”的默认选择，并将“实例计数”更改为 1。

7. 选择“下一步”以转到“流量”页。 在这里，保留部署的默认流量分配（“蓝色”为 100% 流量，“绿色”为 0% 流量）。

8. 选择“下一步”以查看部署设置。

   

9. 选择“创建”以创建部署。

或者，可以使用“模型”页添加部署：

1. 在左侧导航栏中，选择“模型”页。
2. 通过选中模型名称旁边的圆圈来选择该模型。
3. 选择“部署”>“实时终结点”。
4. 选择部署到现有的托管联机终结点。
5. 按照前面的步骤 3 到 9 完成绿色部署的创建。

测试新部署

虽然为 green 分配了 0% 流量，但你仍可以调用终结点和部署。 使用终结点“详细信息”页中的“测试”选项卡来测试托管联机部署。 提供示例输入并查看结果。

1. 在终结点的详细信息页中选择“测试”选项卡。
2. 从下拉菜单中选择绿色部署。
3. 从 json 文件复制示例输入。
4. 将示例输入粘贴到测试框中。
5. 选择“测试”。

以下命令将 10% 的流量镜像到 green 部署：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

你可以通过多次调用终结点而不指定用于接收传入流量的部署来测试镜像流量：

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

可以通过查看来自部署的日志，来确认具体将多少百分比的流量发送到了 green 部署：

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

测试后，可以将镜像流量设置为零以禁用镜像：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

以下命令将 10% 的流量镜像到 green 部署：

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

你可以通过多次调用终结点而不指定用于接收传入流量的部署来测试镜像流量：

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

可以通过查看来自部署的日志，来确认具体将多少百分比的流量发送到了 green 部署：

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

测试后，可以将镜像流量设置为零以禁用镜像：

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

若要将 10% 的流量镜像到 green 部署，请执行以下操作：

1. 从终结点“详细信息”页，选择“更新流量”。
2. 滑动按钮可启用镜像流量。
3. 在“部署名称”下拉菜单中选择绿色部署。
4. 将默认流量分配保留为 10%。
5. 选择“更新”。

终结点“详细信息”页现在显示 10% 的镜像流量分配到 green 部署。

若要测试镜像流量，请查看 Azure CLI 或 Python 选项卡以多次调用终结点。 然后，通过查看来自部署的日志，确认具体将多少百分比的流量发送到了 green 部署。 你可以从终结点的“部署日志”选项卡访问部署日志。还可以使用指标和日志来监视镜像流量的性能。 有关详细信息，请参阅监视联机终结点。

测试后，可以禁用镜像：

1. 从终结点“详细信息”页，选择“更新流量”。
2. 再次滑动“启用镜像流量”旁边的按钮可禁用镜像流量。
3. 选择“更新”。

测试 green 部署后，为其分配一小部分流量：

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

测试 green 部署后，为其分配一小部分流量：

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

测试 green 部署后，为其分配一小部分流量：

1. 在终结点“详细信息”页中，选择“更新流量”。
2. 通过将 10% 分配给绿色部署，将 90% 分配给蓝色部署来调整部署流量。
3. 选择“更新”。

对 green 部署完全满意后，将所有流量切换到该部署。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

对 green 部署完全满意后，将所有流量切换到该部署。

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

对 green 部署完全满意后，将所有流量切换到该部署。

1. 在终结点“详细信息”页中，选择“更新流量”。
2. 通过将 100% 分配给绿色部署，将 0% 分配给蓝色部署来调整部署流量。
3. 选择“更新”。

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).result()

1. 在终结点“详细信息”页中，找到蓝色部署。
2. 选择部署名称旁边的删除图标。

如果不打算使用终结点和部署，则应该删除它们。 删除终结点时，你还会删除其所有基础部署。

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

如果不打算使用终结点和部署，则应该删除它们。 删除终结点时，你还会删除其所有基础部署。

ml_client.online_endpoints.begin_delete(name=online_endpoint_name).result()

如果不打算使用终结点和部署，则应该删除它们。 删除终结点时，你还会删除其所有基础部署。

1. 转到 Azure 机器学习工作室。
2. 在左侧导航栏中，选择“终结点”页。
3. 通过选中模型名称旁边的圆圈来选择终结点。
4. 选择“删除”。

或者，可以通过选择终结点“详细信息”页中的“删除”图标，直接删除托管联机终结点。