监视 Kubernetes 联机终结点推理服务器日志

适用于:Azure CLI ml 扩展 v2 (当前)Python SDK azure-ai-ml v2 (当前)

若要诊断联机问题并监视 Azure 机器学习模型推理服务器指标,通常需要收集模型推理服务器日志。 本文介绍如何从已启用 Azure Kubernetes 服务(AKS)和已启用 Azure Arc 的 Kubernetes 群集收集推理服务器日志。 日志收集在 Log Analytics 工作区中,该工作区是 Azure Monitor 的一部分。

AKS 群集

在 AKS 群集中,可以使用内置功能收集容器日志。 按照步骤在 AKS 中收集推理服务器日志:

  1. 转到 AKS 门户,然后选择“日志”选项卡

    图解如何在 AKS 中配置 Azure Monitor。

  2. 选择“ 配置监视 ”,为 AKS 启用 Azure Monitor。 在“高级设置”部分中,可以指定现有的 Log Analytics 或创建新的 Log Analytics 来收集日志

    说明如何在 AKS 监视器中配置容器见解的示意图。

  3. 大约 1 小时后生效,然后可以从 AKS 或 Log Analytics 门户查询推理服务器日志

    在 AKS 监视器中运行查询的示例。

  4. 查询示例:

        let starttime = ago(1d);
        ContainerLogV2
        | where TimeGenerated > starttime
        | where PodName has "blue-sklearn-mnist"
        | where ContainerName has "inference-server"
        | project TimeGenerated, PodNamespace, PodName, ContainerName, LogMessage
        | limit 100