安全上线新的部署以进行实时推理

• Azure CLI 和 ml Azure CLI 的扩展，已安装并配置。 有关详细信息，请参阅安装和设置 CLI （v2）。

• Bash shell 或其他兼容的 shell，例如 Linux 系统中的 shell 或 Windows 的 Linux 子系统。 本文中的 Azure CLI 示例假定你使用这种类型的 shell。

• Azure 机器学习工作区。 有关创建工作区的说明，请参阅 “设置”。

• 至少具有以下 Azure 基于角色的访问控制（Azure RBAC）角色之一的用户帐户：

  • Azure 机器学习工作区的所有者角色
  • Azure 机器学习工作区的贡献者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 权限的自定义角色

  有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

• （可选）在本地安装并运行 Docker 引擎。 强烈建议使用此先决条件。 您需要它来在本地部署模型，它还有助于调试。

适用范围：Python SDK azure-ai-ml v2（最新版）

• Azure 机器学习工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• 适用于 Python v2 的 Azure 机器学习 SDK。 若要安装 SDK，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅 适用于 Python 的 Azure 机器学习包客户端库。

• Python 3.10 或更高版本。

• 至少具有以下 Azure 基于角色的访问控制（Azure RBAC）角色之一的用户帐户：

  • Azure 机器学习工作区的所有者角色
  • Azure 机器学习工作区的贡献者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 权限的自定义角色

  有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

• （可选）在本地安装并运行 Docker 引擎。 强烈建议使用此先决条件。 您需要它来在本地部署模型，它还有助于调试。

• Azure 订阅。 如果没有 Azure 订阅，可在开始前创建一个试用帐户。

• Azure 机器学习工作区。 有关创建工作区的说明，请参阅 “创建工作区”。

• 至少具有以下 Azure 基于角色的访问控制（Azure RBAC）角色之一的用户帐户：

  • Azure 机器学习工作区的所有者角色
  • Azure 机器学习工作区的贡献者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 权限的自定义角色

  有关详细信息，请参阅管理对 Azure 机器学习工作区的访问。

设置环境变量。

可以将默认值配置为与 Azure CLI 一起使用。 若要避免多次传递订阅、工作区和资源组的值，请运行以下代码：

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

克隆示例存储库

若要按照本文的说明进行操作，请先克隆示例存储库 (azureml-examples)。 然后转到存储库的 cli/ 目录：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

本教程中的命令位于 deploy-safe-rollout-online-endpoints.sh 目录中的 cli 文件中。 YAML 配置文件位于 endpoints/online/managed/sample/ 子目录中。

克隆示例存储库

若要运行训练示例，请先克隆示例存储库 (azureml-examples)。 然后转到 azureml-examples/sdk/python/endpoints/online/managed 目录：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

本文基于online-endpoints-safe-rollout.ipynb笔记本。 本文包含与笔记本相同的内容，但代码块的顺序在两个文档之间略有不同。

连接到 Azure 机器学习工作区

工作区是 Azure 机器学习的顶级资源。 工作区提供一个集中位置，用于处理使用 Azure 机器学习时创建的所有项目。 本节中，你将连接到工作区，执行部署任务。 若要继续学习该内容，请打开 online-endpoints-safe-rollout.ipynb 笔记本。

1. 导入所需的库：

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

   注意事项

   如果使用 Kubernetes 联机终结点，请从KubernetesOnlineEndpoint库导入KubernetesOnlineDeployment和azure.ai.ml.entities类。

2. 配置工作区设置并获取工作区的控制权。

   若要连接到工作区，需要标识符参数 - 订阅、资源组和工作区名称。 使用此信息，在 MLClient 模块中的 azure.ai.ml 类中获取所需的 Azure 机器学习工作区的句柄。 此示例使用默认的 Azure 身份验证。

    # enter details of your AML workspace
    subscription_id = "<SUBSCRIPTION_ID>"
    resource_group = "<RESOURCE_GROUP>"
    workspace = "<AML_WORKSPACE_NAME>"
   

    # get a handle to the workspace
    ml_client = MLClient(
        DefaultAzureCredential(), subscription_id, resource_group, workspace
    )
   

如果在本地计算机上安装了 Git，则可以按照说明克隆示例存储库。 否则，请按照说明从示例存储库下载文件。

克隆示例存储库

若要接下来阅读本文，请克隆 azureml 示例代码库。 然后，转到 azureml-examples/cli/endpoints/online/model-1 文件夹。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

从示例存储库下载文件

可以将存储库下载到本地计算机，而不是克隆示例存储库：

1. 转到 https://github.com/Azure/azureml-examples/。
2. 选择 <> 代码。 转到 “本地 ”选项卡，然后选择“ 下载 ZIP”。

创建联机终结点

首先，设置终结点名称。 然后，配置终结点。 在本文中，将使用 endpoints/online/managed/sample/endpoint.yml 该文件来配置终结点。 该文件包含以下行：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

下表描述了终结点 YAML 格式使用的密钥。 若要了解如何指定这些属性，请参阅 CLI （v2） 联机终结点 YAML 架构。 有关与托管联机终结点相关的限制的信息，请参阅 Azure 机器学习联机终结点和批处理终结点。

若要创建联机终结点，请执行以下操作：

1. 通过运行以下 Unix 命令设置终结点名称。 将 YOUR_ENDPOINT_NAME 替换为唯一名称。

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   重要

   Azure 区域中的终结点名称必须唯一。 例如，在 Azure chinanorth2 区域中，只能有一个名为 my-endpoint 的终结点。

2. 通过运行以下代码在云中创建终结点。 此代码使用 endpoint.yml 文件配置终结点：

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

创建 blue 部署

可以使用 endpoints/online/managed/sample/blue-deployment.yml 文件来配置名为 blue 的部署的关键方面。 该文件包含以下行：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

若要为终结点创建 blue 部署，请使用该 blue-deployment.yml 文件，然后运行以下命令：

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

blue-deployment.yaml在文件中，行path指定从何处上传文件。 Azure 机器学习 CLI 使用此信息上传文件并注册模型和环境。 作为生产最佳做法，请注册模型和环境，并在 YAML 代码中单独指定已注册的名称和版本。 使用模型的格式 model: azureml:<model-name>:<model-version> ，例如 model: azureml:my-model:1。 对于环境，请使用格式 environment: azureml:<environment-name>:<environment-version>，例如 environment: azureml:my-env:1。

若要执行注册，可以将 model 和 environment 的 YAML 定义提取到单独的 YAML 文件中，并使用命令 az ml model create 和 az ml environment create。 若要了解有关这些命令的详细信息，请运行 az ml model create -h 和 az ml environment create -h。

有关将模型注册为资产的详细信息，请参阅 使用 Azure CLI 或 Python SDK 注册模型。 有关创建环境的详细信息，请参阅 “创建自定义环境”。

创建联机终结点

使用 ManagedOnlineEndpoint 类创建管理的在线终结点。 此编程类可帮助你配置终结点的关键要素。

1. 配置终结点：

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import datetime
   
   online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )
   

   注意事项

   若要创建 Kubernetes 联机终结点，请使用 KubernetesOnlineEndpoint 类。

2. 创建终结点：

   ml_client.begin_create_or_update(endpoint).result()
   

创建 blue 部署

若要为托管联机终结点创建部署，请使用 ManagedOnlineDeployment 类。 此类提供了一种方法来配置部署的关键方面。

1. 配置 blue 部署：

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS2_v2",
       instance_count=1,
   )
   

   在此示例中，参数 path 指定要从何处上传文件。 Python SDK 使用此信息上传文件并注册模型和环境。 作为生产最佳做法，请注册模型和环境，并在代码中单独指定已注册的名称和版本。

   有关将模型注册为资产的详细信息，请参阅 使用 Azure CLI 或 Python SDK 注册模型。

   有关创建环境的详细信息，请参阅 “创建自定义环境”。

   注意事项

   若要为 Kubernetes 联机终结点创建部署，请使用 KubernetesOnlineDeployment 类。

2. 创建部署：

   ml_client.begin_create_or_update(blue_deployment).result()
   

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.begin_create_or_update(endpoint).result()
   

在 Azure 机器学习工作室中创建托管联机终结点时，必须为终结点定义初始部署。 在定义部署之前，请在工作区中注册模型。 以下部分演示如何注册用于部署的模型。

注册模型

模型注册是工作区中的一个逻辑实体。 此实体可以包含单个模型文件或具有多个文件的目录。 作为生产最佳做法，请注册模型和环境。

若要注册示例模型，请按照以下部分中的步骤作。

上传模型文件

1. 转到 Azure 机器学习工作室。

2. 选择 模型。

3. 选择“注册”，然后选择“来自本地文件”。

4. 在 “模型类型”下，选择 “未指定类型”。

5. 选择 “浏览”，然后选择“ 浏览”文件夹。

   

6. 转到之前克隆或下载的存储库的本地副本，然后选择 \azureml-examples\cli\endpoints\online\model-1\model。 出现提示时，选择“ 上传 ”并等待上传完成。

7. 选择“下一步”。

配置和注册模型

1. 在 “模型设置” 页上的“ 名称”下，输入模型的友好名称。 本文中的步骤假定模型已命名为 model-1。

2. 选择“ 下一步”，然后选择“ 注册 ”以完成注册。

对于本文后面的示例，还需要从存储库的本地副本中的 \azureml-examples\cli\endpoints\online\model-2\model 文件夹中注册模型。 若要注册该模型，请重复前两节中的步骤，但将该模型命名为该模型 model-2。

有关使用已注册模型的详细信息，请参阅 使用 Azure 机器学习中的已注册模型。

有关在工作室中创建环境的信息，请参阅 “创建环境”。

创建托管联机终结点和 blue 部署

可以使用 Azure 机器学习工作室直接在浏览器中创建托管联机终结点。 在工作室中创建托管的在线端点时，必须定义一个初始部署。 不能创建空的托管的在线端点。

在平台中创建托管在线端点的一种方法是从“模型”页面创建。 此方法也提供将模型添加到现有托管联机部署的简单方法。 若要部署之前在“model-1”部分中注册的模型，请执行以下步骤。

选择模型

1. 转到 Azure 机器学习工作室，然后选择 “模型”。

2. 在列表中，选择 model-1 模型。

3. 选择部署>实时终结点。

   

   此时会打开一个窗口，可用于指定有关终结点的详细信息。

   

配置初始设置

1. 在 “终结点名称”下，输入终结点的名称。

2. 在 “计算类型”下，保留 “托管”的默认值。

3. 在 “身份验证类型”下，保留 基于密钥的身份验证的默认值。

4. 选择 “下一步”，然后在“ 模型 ”页上，选择“ 下一步”。

配置剩余设置并创建部署

1. 在 “部署 ”页上，执行以下步骤：

   1. 在 “部署名称”下，输入 蓝色。
   2. 如果以后想要在工作室中查看终结点活动的图表：
      1. 在 推理数据收集下，打开开关。
      2. 在 Application Insights 诊断下，打开开关。
   3. 选择“下一步”。

2. 在 用于推理的代码和环境 页上，执行以下步骤：

   1. 在 “选择用于推理的评分脚本”下，选择“ 浏览”，然后从之前克隆或下载的存储库中选择 \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py 文件。
   2. 在环境列表上方的搜索框中，开始输入 sklearn，然后选择 sklearn-1.5：19 特选环境。
   3. 选择“下一步”。

3. 在 “计算 ”页上，执行以下步骤：

   1. 在 “虚拟机”下，保留默认值。
   2. 在 “实例计数”下，将默认值替换为 1。
   3. 选择“下一步”。

4. 在实时流量页面上，选择下一步以接受100%到blue部署的默认流量分配。

5. 在 “查看”时，查看部署设置，然后选择“ 创建”。

   

从“终结点”页创建终结点

或者，也可以通过平台中的“终结点”页面创建托管在线终结点。

1. 转到 Azure 机器学习工作室。

2. 选择 终结点。

3. 选择 创建。

   

   此时会打开一个窗口，可在其中指定有关终结点和部署的详细信息。

4. 选择模型，然后选择 “选择”。

5. 请根据前面两个部分中的描述，输入终结点和部署的设置。 在每个步骤中，使用默认值。 在最后一步中，选择“ 创建” 以创建部署。

若要查看现有终结点和部署的状态，请运行以下命令：

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

输出列出了有关 $ENDPOINT_NAME 终结点和 blue 部署的信息。

使用示例数据测试终结点

可以使用命令调用终结点 invoke 。 以下命令使用 sample-request.json JSON 文件发送示例请求：

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

使用以下代码检查模型部署的状态：

ml_client.online_endpoints.get(name=online_endpoint_name)

使用示例数据测试终结点

您可以使用之前创建的 MLClient 实例来获取终结点的句柄。 若要调用终结点，请使用 invoke 具有以下参数的命令：

• endpoint_name：终结点的名称。
• request_file：包含请求数据的文件。
• deployment_name：要在终结点中测试的部署的名称。

以下代码使用 sample-request.json JSON 文件发送示例请求。

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

查看托管在线终结点

可以在“工作室终结点”页中查看所有托管联机终结点。 每个终结点页面的“ 详细信息 ”选项卡显示关键信息，例如终结点 URI、状态、测试工具、活动监视器、部署日志和示例使用代码。 若要查看此信息，请执行以下步骤：

1. 在工作室中，选择“终结点”。 将显示工作区中所有终结点的列表。

2. （可选）在计算实例类型上创建筛选器，以仅显示托管类型。

3. 选择一个终结点名称以查看该终结点的“详细信息”页。

使用示例数据测试终结点

在终结点页上，使用“ 测试 ”选项卡测试托管联机部署。 若要输入示例输入并查看结果，请执行以下步骤：

1. 在终结点页上，转到“ 测试 ”选项卡。在 “部署 ”列表中， blue 已选择部署。

2. 转到 sample-request.json 文件 并复制其示例输入。

3. 在工作室中，将示例输入粘贴到 “输入 ”框中。

4. 选择测试。

在按使用联机终结点部署机器学习模型并为其评分所述进行部署时，将 instance_count 值设置为部署 YAML 文件中的 1。 使用 update 命令进行横向扩展。

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

MLClient使用之前创建的实例获取部署的句柄。 若要调整部署的规模，请增加或减小 instance_count 的值。

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

获取有关终结点的详细信息

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

若要通过调整实例数来纵向扩展或缩减部署，请执行以下步骤：

1. 在终结点页上，转到“ 详细信息 ”选项卡，找到部署卡 blue 。

2. 在部署卡的 blue 标头上，选择编辑图标。

3. 在 “实例计数”下，输入 2。

4. 选择“更新”。

创建名为 green 的新部署：

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

因为没有显式地为 green 部署分配任何流量，所以它没有分配任何流量。 可以使用以下命令验证事实：

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

测试新部署

虽然 green 部署分配了 0% 的流量，但可以使用 --deployment 选项直接调用：

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

如果要使用 REST 客户端直接调用部署而不经历流量规则处理过程，请设置以下 HTTP 头：azureml-model-deployment: <deployment-name>。 以下代码使用客户端进行 URL (cURL) 直接调用部署。 可以在 Unix 或适用于 Linux 的 Windows 子系统（WSL）环境中运行代码。 有关如何检索 $ENDPOINT_KEY 值的说明，请参阅 获取数据平面操作的密钥或令牌。

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

为托管在线终结点创建新的部署，并将其命名为 green：

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.begin_create_or_update(green_deployment).result()

测试新部署

尽管 green 部署分配了 0% 的流量，但仍可以调用终结点和部署。 以下代码使用 sample-request.json JSON 文件发送示例请求。

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

可以创建要添加到托管联机终结点的新部署。 若要创建名为 green的部署，请按照以下部分中的步骤作。

配置初始设置

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后选择“ 添加部署”。

2. 在 “选择模型 ”页上，选择 model-2，然后选择“ 选择”。

3. 在 “终结点 ”页和“ 模型 ”页上，选择“ 下一步”。

4. 在 “部署 ”页上，执行以下步骤：

   1. 在 “部署名称”下，输入 绿色。
   2. 在 推理数据收集下，打开开关。
   3. 在 Application Insights 诊断下，打开开关。
   4. 选择“下一步”。

5. 在 用于推理的代码和环境 页上，执行以下步骤：

   1. 在 “选择用于推理的评分脚本”下，选择“ 浏览”，然后从之前克隆或下载的存储库中选择 \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py 文件。
   2. 在环境列表上方的搜索框中，开始输入 sklearn，然后选择 sklearn-1.5：19 特选环境。
   3. 选择“下一步”。

6. 在 “计算 ”页上，执行以下步骤：

   1. 在 “虚拟机”下，保留默认值。
   2. 在 “实例计数”下，将默认值替换为 1。
   3. 选择“下一步”。

配置剩余设置并创建部署

1. 在 实时流量中，选择 “下一步” 以接受 100% 到 blue 部署的默认流量分配，0% 到 green。

2. 在 “查看”时，查看部署设置，然后选择“ 创建”。

   

从“模型”页面添加部署

或者，您可以使用“模型”页面来添加部署：

1. 在工作室中，选择 “模型”。

2. 在列表中选择一个模型。

3. 选择部署>实时终结点。

4. 在“终结点”下，选择“现有”。

5. 在终结点列表中，选择要将模型部署到的托管联机终结点，然后选择“ 下一步”。

   

6. 在 “模型 ”页上，选择“ 下一步”。

7. 若要完成部署创建 green ，请遵循 “配置初始设置 ”部分中的步骤 4 到 6，以及 “配置剩余设置”中的所有步骤并创建部署 部分。

测试新部署

即使 0% 的流量流向 green 部署，仍然可以调用终结点和该部署。 在终结点页上，使用“ 测试 ”选项卡测试托管联机部署。 若要输入示例输入并查看结果，请执行以下步骤：

1. 在终结点页上，转到“ 测试 ”选项卡。

2. 在 “部署 ”列表中，选择 绿色。

3. 转到 sample-request.json 文件 并复制其示例输入。

4. 在工作室中，将示例输入粘贴到 “输入 ”框中。

5. 选择“测试”。

使用以下命令镜像 10% 的流量并将其发送到 green 部署：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

若要测试镜像流量，请多次调用终结点，而无需指定部署。 终结点路由传入流量：

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

您可以通过检查部署中的日志来确认将指定百分比的流量发送到 green 部署。

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

测试后，将镜像流量设置为零以禁用镜像：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

使用以下代码复制 10% 的流量并将其发送到 green 部署：

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

可以通过多次调用终结点来测试镜像流量，而无需指定用于接收传入流量的部署：

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

您可以通过检查部署中的日志来确认将指定百分比的流量发送到 green 部署。

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

测试后，将镜像流量设置为零以禁用镜像：

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

若要镜像 10% 流量并将其发送到 green 部署，请执行以下步骤：

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后选择“ 更新流量”。

2. 打开“启用镜像流量”的开关。

3. 在 “部署名称 ”列表中，选择 绿色。

4. 在 流量分配 %下，保留默认值 10%。

5. 选择“更新”。

终结点详细信息页现在显示一个到 green 部署的 10% 镜像流量分配。

若要测试镜像流量，请查看 Azure CLI 或 Python 选项卡以多次调用终结点。 通过查看部署的日志，来确认将多少特定比例的流量发送到了 green 部署。 可以通过转到“ 日志 ”选项卡访问终结点页上的部署日志。

测试后，可以通过执行以下步骤来禁用镜像：

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后选择“ 更新流量”。

2. 关闭“启用镜像流量”的开关。

3. 选择“更新”。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

测试完您的 green 部署后，请为其分配一定比例的流量。

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后选择“ 更新流量”。

2. 通过将部署流量的 10% 分配给 green 部署，并将 90% 分配到 blue 部署来进行调整。

3. 选择“更新”。

对 green 部署完全满意后，将所有流量切换到该部署。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

对 green 部署感到完全满意后，将所有流量切换到该部署。

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后选择“ 更新流量”。

2. 通过将 100% 的流量分配给 green 部署，以及将 0% 的流量分配给 blue 部署来调整部署流量。

3. 选择“更新”。

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).result()

1. 在终结点页上，转到“ 详细信息 ”选项卡，然后转到 blue 部署卡。

2. 在部署名称旁边，选择删除图标。

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ml_client.online_endpoints.begin_delete(name=online_endpoint_name).result()

1. 转到 Azure 机器学习工作室。

2. 选择 终结点。

3. 在列表中选择一个终结点。

4. 选择“删除”。

或者，可以直接在终结点页面删除已托管的在线终结点。 转到“ 详细信息 ”选项卡，然后选择“删除”图标。