利用 Triton Inference Server 实现的高性能服务

• Azure CLI 和 ml Azure CLI 的扩展，已安装并配置。 有关详细信息，请参阅安装和设置 CLI （v2）。

• Bash shell 或其他兼容的 shell，例如 Linux 系统中的 shell 或 Windows 的 Linux 子系统。 本文中的 Azure CLI 示例假定你使用这种类型的 shell。

• Azure 机器学习工作区。 有关创建工作区的说明，请参阅 “设置”。

• 一个可用的 Python 3.8 或更高版本的环境。

• 必须安装其他 Python 包才能评分。 可以使用以下代码安装它们。 它们包括：

  • NumPy。 数组和数值计算库。
  • Triton 推理服务器客户端。 简化对 Triton 推理服务器的请求。
  • 枕头。 用于图像操作的库。
  • 格文特 用于连接到 Triton 服务器的网络库。

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• 访问 Azure 订阅的 NCv3 系列虚拟机。

  重要

  可能需要为订阅请求增加配额，然后才能使用此系列虚拟机。 有关详细信息，请参阅 NCv3 系列。

• NVIDIA Triton 推理服务器要求特定的模型存储库结构，其中每个模型都有一个目录，以及用于模型版本的子目录。 每个模型版本子目录的内容由模型的类型以及支持模型的后端的要求决定。 有关所有模型的结构的信息，请参阅 模型文件。

  本文档中的信息基于使用以 ONNX 格式存储的模型，因此模型存储库的目录结构为 <model-repository>/<model-name>/1/model.onnx。 具体而言，此模型执行图像识别。

本文中的信息基于 azureml-examples 存储库中包含的代码示例。 若要在不复制/粘贴 YAML 和其他文件的情况下在本地运行命令，请克隆存储库，然后将目录更改为存储库中的 cli 目录：

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd cli

如果尚未为 Azure CLI 指定默认设置，则应保存默认设置。 若要避免多次传入订阅、工作区和资源组的值，请使用以下命令。 将以下参数替换为特定配置的值：

• 将 <subscription> 替换为你的 Azure 订阅 ID。
• 将 <workspace> 替换为 Azure 机器学习工作区名称。
• 将 <resource-group> 替换为包含你的工作区的 Azure 资源组。
• 将 <location> 替换为包含你的工作区的 Azure 区域。

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

适用范围：Python SDK azure-ai-ml v2（最新版）

• Azure 机器学习工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• 适用于 Python v2 的 Azure 机器学习 SDK。 若要安装 SDK，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅 适用于 Python 的 Azure 机器学习包客户端库。

• 一个可用的 Python 3.8 或更高版本的环境。

• 必须安装其他 Python 包才能评分。 可以使用以下代码安装它们。 它们包括：

  • NumPy。 数组和数值计算库。
  • Triton 推理服务器客户端。 简化对 Triton 推理服务器的请求。
  • 枕头。 用于图像操作的库。
  • 格文特 用于连接到 Triton 服务器的网络库。

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• 访问 Azure 订阅的 NCv3 系列虚拟机。

  重要

  可能需要为订阅请求增加配额，然后才能使用此系列虚拟机。 有关详细信息，请参阅 NCv3 系列。

本文中的信息基于 azureml-examples 存储库中包含的 online-endpoints-triton.ipynb 笔记本内容。 若要在本地运行命令，而无需复制和粘贴文件，请克隆存储库，然后将目录更改为 sdk/endpoints/online/triton/single-model/ 存储库中的目录：

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python/endpoints/online/triton/single-model/

• Azure 订阅。 如果没有 Azure 订阅，请在开始前创建一个试用版订阅。 尝试试用版订阅。

• Azure 机器学习工作区。 如果没有，请完成 门户中的“管理 Azure 机器学习工作区”中的步骤，或使用 Python SDK 创建一个。

适用于：Azure CLI ml 扩展 v2（当前）

本部分介绍如何使用 Azure CLI 和机器学习扩展（v2）部署到托管联机终结点。

1. 要避免在多个命令中键入路径，请使用以下命令设置 BASE_PATH 环境变量。 此变量指向模型和关联的 YAML 配置文件所在的目录：

   BASE_PATH=endpoints/online/triton/single-model
   

2. 使用以下命令设置要创建的终结点的名称。 在此示例中，将为终结点创建一个随机名称：

   export ENDPOINT_NAME=triton-single-endpt-`echo $RANDOM`
   
   

3. 为终结点创建 YAML 配置文件。 以下示例配置终结点的名称和身份验证模式。 以下命令中使用的文件位于 /cli/endpoints/online/triton/single-model/create-managed-endpoint.yml 前面克隆的 azureml 示例存储库中：

   create-managed-endpoint.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: aml_token

1. 为部署创建 YAML 配置文件。 以下示例将一个名为 blue 的部署配置到上一步中定义的终结点。 以下命令中使用的文件位于 /cli/endpoints/online/triton/single-model/create-managed-deployment.yml 前面克隆的 azureml 示例存储库中：

   重要

   为了让 Triton 的无代码部署正常工作，您需要将 type 设置为 triton_model​： type: triton_model​。 有关详细信息，请参阅 CLI (v2) 模型 YAML 架构。

   此部署使用 Standard_NC6s_v3 虚拟机。 可能需要为订阅请求增加配额，然后才能使用此虚拟机。 有关详细信息，请参阅 NCv3 系列。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  name: sample-densenet-onnx-model
  version: 1
  path: ./models
  type: triton_model
instance_count: 1
instance_type: Standard_NC6s_v3

适用范围：Python SDK azure-ai-ml v2（最新版）

本部分介绍如何使用 Azure 机器学习 Python SDK （v2）定义用于部署到托管联机终结点的 Triton 部署。

1. 若要连接到工作区，需要标识符参数：订阅、资源组和工作区名称。

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace_name = "<WORKSPACE_NAME>"
   

2. 使用以下命令设置要创建的终结点的名称。 在此示例中，将为终结点创建一个随机名称：

   import random
   
   endpoint_name = f"endpoint-{random.randint(0, 10000)}"
   

3. 使用前面配置的azure.ai.mlMLClient标识符参数来获取 Azure 机器学习所需工作区的句柄。 有关如何配置凭据和连接到工作区的更多详细信息，请参阅 配置笔记本 。

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   
   ml_client = MLClient(
       DefaultAzureCredential(),
       subscription_id,
       resource_group,
       workspace_name,
   )
   

4. 创建一个 ManagedOnlineEndpoint 对象以配置终结点。 以下示例配置终结点的名称和身份验证模式。

   from azure.ai.ml.entities import ManagedOnlineEndpoint
   
   endpoint = ManagedOnlineEndpoint(name=endpoint_name, auth_mode="key")
   

5. 创建一个 ManagedOnlineDeployment 对象以配置部署。 以下示例配置一个名为blue的部署到上一步中定义的终结点，并以内联方式定义本地模型。

   from azure.ai.ml.entities import ManagedOnlineDeployment, Model
   
   model_name = "densenet-onnx-model"
   model_version = "1"
   
   deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=endpoint_name,
       model=Model(
           name=model_name, 
           version=model_version,
           path="./models",
           type="triton_model"
       ),
       instance_type="Standard_NC6s_v3",
       instance_count=1,
   )
   

本部分介绍如何使用 Azure 机器学习工作室在托管联机终结点上定义 Triton 部署。

1. 使用以下 YAML 和 CLI 命令以 Triton 格式注册模型。 YAML 使用 azureml-examples/cli/endpoints/online/triton/single-model 中的 densenet-onnx 模型。

   create-triton-model.yaml

   name: densenet-onnx-model
   version: 1
   path: ./models
   type: triton_model​
   description: Registering my Triton format model.
   

   az ml model create -f create-triton-model.yaml
   

   以下屏幕截图显示了已注册的模型在 Azure 机器学习工作室的 “模型 ”页上的外观。

   

2. 在 工作室中，选择工作区，然后使用 “终结点 或 模型 ”页创建终结点部署：

   • “终结点”页
   • “模型”页面

   1. 在 “终结点 ”页上，选择“ 创建”。

      

   2. 选择之前注册的 Triton 模型，然后单击 “选择”。

   3. 选择以 Triton 格式注册的模型时，不需要评分脚本或环境。

      

适用于：Azure CLI ml 扩展 v2（当前）

1. 若要使用 YAML 配置创建终结点，请使用以下命令：

   az ml online-endpoint create -n $ENDPOINT_NAME -f $BASE_PATH/create-managed-endpoint.yaml
   
   

2. 若要使用 YAML 配置创建部署，请使用以下命令：

   az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f $BASE_PATH/create-managed-deployment.yaml --all-traffic
   
   

适用范围：Python SDK azure-ai-ml v2（最新版）

1. 若要使用 ManagedOnlineEndpoint 对象创建终结点，请使用以下命令：

   endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint)
   

2. 若要使用 ManagedOnlineDeployment 对象创建部署，请使用以下命令：

   ml_client.online_deployments.begin_create_or_update(deployment)
   

3. 部署完成后，其 traffic 值将设置为 0%。 将 traffic 值更新为 100%：

   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint)
   

1. 在 “部署 ”窗格中，选择“ 部署”。

   

2. 部署完成后，其流量值将设置为 0%。 通过选择终结点页面上的 “更新流量 ”，将流量值更新为 100%。

适用于：Azure CLI ml 扩展 v2（当前）

部署完成后，使用以下命令向已部署的终结点发出评分请求。

1. 若要获取终结点评分 URI，请使用以下命令：

   scoring_uri=$(az ml online-endpoint show -n $ENDPOINT_NAME --query scoring_uri -o tsv)
   scoring_uri=${scoring_uri%/*}
   
   

2. 要获取身份验证密钥，请使用以下命令：

   auth_token=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME --query accessToken -o tsv)
   
   

3. 要使用终结点对数据进行评分，请使用以下命令。 它将 孔雀 的图像提交到终结点：

   python $BASE_PATH/triton_densenet_scoring.py --base_url=$scoring_uri --token=$auth_token --image_path $BASE_PATH/data/peacock.jpg
   
   

   来自脚本的响应类似于以下响应：

   Is server ready - True
   Is model ready - True
   /azureml-examples/cli/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

适用范围：Python SDK azure-ai-ml v2（最新版）

1. 若要获取终结点评分 URI，请使用以下命令：

   endpoint = ml_client.online_endpoints.get(endpoint_name)
   scoring_uri = endpoint.scoring_uri
   

2. 要获取身份验证密钥，请使用以下命令：keys = ml_client.online_endpoints.list_keys(endpoint_name) auth_key = keys.primary_key

3. 以下评分代码使用 Triton 推理服务器客户端将孔雀的图像提交到终结点。 本示例的配套笔记本中提供了此脚本： 使用 Triton 将模型部署到联机终结点。

   # Test the blue deployment with some sample data
   import requests
   import gevent.ssl
   import numpy as np
   import tritonclient.http as tritonhttpclient
   from pathlib import Path
   import prepost
   
   img_uri = "http://aka.ms/peacock-pic"
   
   # Remove the scheme from the URL
   url = scoring_uri[8:]
   
   # Initialize the client handler
   triton_client = tritonhttpclient.InferenceServerClient(
       url=url,
       ssl=True,
       ssl_context_factory=gevent.ssl._create_default_https_context,
   )
   
   # Create headers
   headers = {}
   headers["Authorization"] = f"Bearer {auth_key}"
   
   # Check the status of the Triton server
   health_ctx = triton_client.is_server_ready(headers=headers)
   print("Is server ready - {}".format(health_ctx))
   
   # Check the status of the model
   model_name = "model_1"
   status_ctx = triton_client.is_model_ready(model_name, "1", headers)
   print("Is model ready - {}".format(status_ctx))
   
   if Path(img_uri).exists():
       img_content = open(img_uri, "rb").read()
   else:
       agent = f"Python Requests/{requests.__version__} (https://github.com/Azure/azureml-examples)"
       img_content = requests.get(img_uri, headers={"User-Agent": agent}).content
   
   img_data = prepost.preprocess(img_content)
   
   # Populate inputs and outputs
   input = tritonhttpclient.InferInput("data_0", img_data.shape, "FP32")
   input.set_data_from_numpy(img_data)
   inputs = [input]
   output = tritonhttpclient.InferRequestedOutput("fc6_1")
   outputs = [output]
   
   result = triton_client.infer(model_name, inputs, outputs=outputs, headers=headers)
   max_label = np.argmax(result.as_numpy("fc6_1"))
   label_name = prepost.postprocess(max_label)
   print(label_name)
   

4. 来自脚本的响应类似于以下响应：

   Is server ready - True
   Is model ready - True
   /azureml-examples/sdk/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

Triton Inference Server 需要使用 Triton 客户端进行推理，并支持张量类型输入。 Azure 机器学习工作室目前不支持此功能。 请改用 CLI 或 SDK，通过 Triton 调用端点。

适用于：Azure CLI ml 扩展 v2（当前）

1. 完成终结点后，请使用以下命令将其删除：

   az ml online-endpoint delete -n $ENDPOINT_NAME --yes
   
   

2. 使用以下命令存档模型：

   az ml model archive --name sample-densenet-onnx-model --version 1
   

适用范围：Python SDK azure-ai-ml v2（最新版）

1. 删除终结点。 删除终结点也会删除任何子部署，但不会存档关联的环境或模型。

   ml_client.online_endpoints.begin_delete(name=endpoint_name)
   

2. 使用以下代码存档模型。

   ml_client.models.archive(name=model_name, version=model_version)
   

1. 在终结点的页面上，选择“ 删除”。

2. 在模型的页面上，选择“ 存档”。