CLI (v2) 计划用于模型监视的 YAML 架构（预览版）

适用于：Azure CLI ml 扩展 v2（当前）

本文档中详细介绍的 YAML 语法基于最新版本的 ML CLI v2 扩展的 JSON 架构。 此语法必定仅适用于最新版本的 ML CLI v2 扩展。 详尽的 JSON 架构请参见 https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json。 可以在 https://azuremlschemasprod.azureedge.net/ 上查找早期扩展版本的架构。

定期计划定义定期模式，包含 hours、minutes 和 weekdays。

• 当频率为 day 时，模式可指定 hours 和 minutes。
• 当频率为 week 和 month 时，模式可指定 hours、minutes 和 weekdays。

随着用于训练模型的数据在生产中不断演变，数据的分布可能会发生变化，从而导致训练数据与模型用于预测的真实数据之间的不匹配。 数据偏移是当用于训练模型的输入数据的统计属性随时间变化时，机器学习中发生的一种现象。

预测偏移通过将模型预测输出与验证或测试标记的数据或最近的过往生产数据进行比较来跟踪其分布的变化。

数据质量信号通过比较训练数据或最近的过往生产数据来跟踪生产中的数据质量问题。

由于数据分布的变化、特征之间关系的变化或正在解决的基础问题的变化，模型的特征归因可能会随时间而改变。 特征归因偏移是当特征对预测输出的重要性或贡献随时间变化时，机器学习模型中发生的一种现象。

通过自定义 Azure 机器学习组件自定义监视信号。

模型性能跟踪生产中模型输出的客观性能的方式是将其与收集的地面实况数据进行比较。

az ml schedule 命令可用于管理 Azure 机器学习模型。

示例 GitHub 存储库中提供了监视 CLI 示例。 一些指标和阈值如下：

适用于：Azure CLI ml 扩展 v2（当前）

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

适用于：Azure CLI ml 扩展 v2（当前）

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

当前计划支持以下时区。 键可直接在 Python SDK 中使用，而值可在 YAML 作业中使用。 下表按 UTC（协调世界时）进行整理。