监视部署到生产环境的模型的性能

• Azure CLI 和 ml 扩展程序已安装和配置。 有关详细信息，请参阅安装和设置 CLI （v2）。

• Bash shell 或兼容的 shell，例如 Linux 系统上的 shell 或 Windows Subsystem for Linux。 本文中的Azure CLI示例假定你使用这种类型的 shell。

• Azure Machine Learning工作区。 有关创建工作区的说明，请参阅 “设置”。

• Azure Machine Learning工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• 适用于 Python v2 的 Azure Machine Learning SDK。 若要安装 SDK，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅适用于 Python 的Azure Machine Learning包客户端库。

• Azure订阅。 如果没有Azure订阅，请在开始前创建 Trial。

• Azure Machine Learning工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• Azure Machine Learning计算实例。 有关创建计算实例的步骤，请参阅 “创建计算实例”。

使用Azure CLI创建监视器时，请使用 YAML 配置文件。 在该文件中，将 create_monitor.compute.instance_type 值设置为要使用的类型。

使用 Python SDK 创建监视器时，请使用 azure.ai.ml.entities.ServerlessSparkCompute 创建计算实例。 调用该方法时，请将 instance_type 参数设置为要使用的类型。

使用Azure Machine Learning studio添加监视器时，将打开“基本设置”页。 在 “虚拟机大小”下，选择要使用的类型。

在Azure CLI中，使用 az ml schedule 来计划监视作业。

1. 在 YAML 文件中创建监视定义。 有关开箱即用的示例定义，请参阅以下 YAML 代码；该代码也可以在 azureml-examples 存储库中找到。

   使用此定义之前，请调整值以适应你的环境。 对于 endpoint_deployment_id，请使用值的格式为 azureml:<endpoint-name>:<deployment-name>。

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

1. 运行以下命令以创建模型：

   az ml schedule create -f ./out-of-box-monitoring.yaml
   

使用类似于以下示例的代码。 将占位符替换为相应的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.4"
)

# Specify your online endpoint deployment.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

1. 在 Azure Machine Learning studio 中，转到工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

   

3. 在“基本设置”页上，输入以下信息：

   • 在 “可选”下选择模型，选择要监视的模型。
   • 在 “（可选）选择启用了数据收集的部署”下，选择要监视的部署。 如果模型部署到Azure Machine Learning联机终结点，Azure Machine Learning会自动填充此列表。
   • 在 “可选”下选择训练数据，选择要用作比较引用的训练数据。
   • 在 “监视名称”下，输入监视的名称，或保留默认名称。
   • 在 虚拟机大小下，使用默认大小。
   • 在 “时区”下，选择时区。
   • 对于计划，请选择“重复”或“Cron 表达式”。
   • 对于重复计划，请指定重复频率、日期和时间。 对于 Cron 表达式计划，请输入用于监视运行的 Cron 表达式。

   

4. 选择“下一步”。

5. 在以下页面上，选择“ 下一步” ：

   • 配置数据资产
   • 选择监视信号

6. 在“通知”页上，输入要用于接收通知的电子邮件地址，然后选择“ 下一步”。

7. 在“查看监视详细信息”页上，查看设置，然后选择“ 创建”。

1. 在 YAML 文件中创建监视定义。 有关示例高级定义，请参阅以下 YAML 代码，该代码在 azureml-examples 存储库中也可用。

   使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id，请使用值的格式为 azureml:<endpoint-name>:<deployment-name>。
   • 对于引用输入数据部分中的 path，请使用格式为 azureml:<reference-data-asset-name>:<version> 的值。
   • 对于 target_column，请使用包含模型预测的值的输出列的名称，例如 DEFAULT_NEXT_MONTH。
   • 对于features，列出要用于高级数据质量信号的功能，例如SEX、EDUCATION和AGE。
   • 在下方 emails，列出要用于通知的电子邮件地址。

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      alert_enabled: true
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      alert_enabled: true
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      alert_enabled: true
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

1. 运行以下命令以创建模型：

   az ml schedule create -f ./advanced-model-monitoring.yaml
   

若要设置高级模型监视，请使用类似于以下示例的代码。 将以下占位符替换为适当的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.4"
)

# Specify the online deployment if you have one.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Specify a look-back window size and offset to use. Omit this line to use the default values, which are listed in the documentation.
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

# Set up the production data.
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# Set up the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<reference-data-asset-name>:1"
    ),
    data_column_names={
        "target_column":"<target-column>"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced prediction drift signal.
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['<feature-1>', '<feature-2>', '<feature-3>']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create a feature attribution drift signal.
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置高级监视，请完成以下部分中的步骤。

配置基本设置

1. 在 Azure Machine Learning studio 中，转到工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

3. 在“基本设置”页面，输入之前在设置开箱即用的模型监控中所述的信息。

添加数据资产

1. 在“基本设置”页上，配置设置后，选择“ 下一步”。 “高级设置”部分的“配置数据资产”页随即打开。

2. 如果未看到要作为引用使用的数据资产，请选择“添加”。 然后输入数据资产设置。 使用模型训练数据作为数据偏移和数据质量的比较参考数据资产。 将模型验证数据用作预测偏移的比较参考数据资产。

   

编辑数据偏移设置

1. 在 配置数据资产后，添加数据资产后，选择“ 下一步”。 此时会打开 “选择监视信号 ”页。 如果使用Azure Machine Learning联机部署，则会看到一些监视信号。 数据偏移、数据质量和预测偏移信号使用最近、过去的生产数据作为比较参考数据资产，并使用指标和阈值的智能默认值。

   

2. 在数据偏移信号旁边，选择“ 编辑”。

3. 在 “编辑信号 ”窗口中，执行以下步骤来配置数据偏移信号：

   1. 在步骤 1 中：
      1. 对于生产数据资产，请选择模型输入数据资产。
      2. 选择要使用的回溯窗口大小。
   2. 在步骤 2 中：
      1. 对于参考数据资产，请选择训练数据资产。
      2. 选择目标列或输出列。
   3. 在步骤 3 中，选择 前 N 个功能 以监视 N 最重要的特征的偏移。 或者，如果要监视特定集的偏移，请选择特定功能。
   4. 在步骤 4 中，选择要用于数字特征的指标和阈值。
   5. 在步骤 5 中，选择要用于分类功能的指标和阈值。
   6. 选择“保存”。

   

添加特征归因偏移信号

1. 在 “选择监视信号”上，选择“ 添加”。

2. 在 “编辑信号”中，选择 功能属性偏移（预览），然后执行以下步骤来配置特征属性偏移信号：

   1. 在步骤 1 中：
      1. 选择具有模型输入数据的生产数据资产。
      2. 选择要使用的回溯窗口大小。
   2. 在步骤 2 中：
      1. 选择具有模型输出数据的生产数据资产。
      2. 选择要用于联接生产数据和输出数据的通用列。 如果使用 数据收集器 收集数据，请选择 correlationid。
   3. （可选）如果使用数据收集器以将输入和输出数据联接在一起的格式进行收集，请执行以下步骤：
      1. 在步骤 1 中，对于生产数据资产，请选择已联接的数据资产。
      2. 在步骤 2 中，选择“ 删除 ”以从配置面板中删除步骤 2。
   4. 在步骤 3 中：
      1. 对于参考数据资产，请选择训练数据资产。
      2. 为训练数据资产选择目标列或输出列。
   5. 在步骤 4 中，选择要使用的指标和阈值。
   6. 选择“保存”。

   

完成配置

1. 在 “选择监视信号”上，完成监视信号的配置，然后选择“ 下一步”。

   

2. 在 “通知”上，为每个信号启用通知，然后选择“ 下一步”。

3. 在查看监视详细信息时，请检查您的设置。

   

4. 选择“创建”以创建高级模型监视器。

满足 模型性能监视的先决条件后，请执行以下步骤来设置模型监视：

1. 在 YAML 文件中创建监视定义。 以下示例规范定义了使用生产推理数据的模型监视。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id，请使用值的格式为 azureml:<endpoint-name>:<deployment-name>。
   • 对于输入数据节中的每个 path 值，请使用格式为 azureml:<data-asset-name>:<version> 的值。
   • prediction对于值，请使用包含模型预测的值的输出列的名称。
   • 对于 actual 值，请使用包含模型试图预测的实际值的“基本事实数据”列的名称。
   • 针对correlation_id值，请使用用于联接输出数据和地面真实数据的列名称。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # model-performance-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: model_performance_monitoring
   display_name: Credit card fraud model performance
   description: Credit card fraud model performance
   
   trigger:
     type: recurrence
     frequency: day
     interval: 7 
     schedule: 
       hours: 10
       minutes: 15
   
   create_monitor:
     compute: 
       instance_type: standard_e8s_v3
       runtime_version: "3.4"
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment
   
     monitoring_signals:
       fraud_detection_model_performance: 
         type: model_performance 
         production_data:
           input_data:
             path: azureml:credit-default-main-model_outputs:1
             type: mltable
           data_column_names:
             prediction: is_fraud
             correlation_id: correlation_id
         reference_data:
           input_data:
             path: azureml:my_model_ground_truth_data:1
             type: mltable
           data_column_names:
             actual: is_fraud
             correlation_id: correlation_id
           data_context: ground_truth
         alert_enabled: true
         metric_thresholds: 
           tabular_classification:
             accuracy: 0.95
             precision: 0.8
     alert_notification: 
         emails: 
           - abc@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./model-performance-monitoring.yaml
   

满足 模型性能监视的先决条件后，使用以下 Python 代码设置模型监视。 首先将以下占位符替换为适当的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.4"
)

# Specify the type of the model task.
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# Specify production data that the model data collector generates. 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<production-target-column>",
        "join_column": "<production-join-column>"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# Specify the ground truth reference data.
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<ground-truth-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<ground-truth-target-column>",
        "join_column": "<ground-truth-join-column>"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# Create the model performance signal.
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'model_performance':model_performance,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置模型性能监视，请执行以下步骤。

配置基本设置

1. 在 Azure Machine Learning studio 中，转到工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

3. 在“基本设置”页面中，输入“ 配置开箱即用的模型监控”中所述的信息。

添加数据资产

1. 在“基本设置”页上，选择“ 下一步 ”打开 “高级设置 ”部分的“配置数据资产”页。

2. 选择“添加”，然后添加要用作基本事实数据资产的数据资产。 基本事实数据资产必须具有唯一的 ID 列。 此外，地实数据资产的唯一 ID 列中的值和模型输出数据资产必须匹配。 然后，在进行指标计算之前，可以将这些数据资产联接在一起。

   

3. 如果在添加的数据资产列表中看不到模型输出数据资产，请选择“ 添加”，然后添加它。

   

添加性能监视信号

1. 在“配置数据资产”页上，选择“ 下一步”。 此时会打开“选择监视信号”页。 如果使用Azure Machine Learning联机部署，则会看到监视信号列表。

2. 删除页面上看到的任何监视信号。 本部分的重点是创建模型性能监视信号。

3. 选择 添加 。

4. 在“编辑信号”窗口中，选择 “模型性能”（预览），然后执行以下步骤来配置模型性能信号：

   1. 在步骤 1 中：
      1. 对于生产数据资产，请选择模型输出数据资产。
      2. 选择适当的目标列，例如 DEFAULT_NEXT_MONTH。
      3. 选择要使用的回溯窗口大小和偏移量。
   2. 在步骤 2 中：
      1. 对于参考数据资产，请选择基本事实数据资产。
      2. 选择目标列，例如 ground_truth。
      3. 选择要用于与模型输出数据资产联接的列，例如correlationid。 两个数据资产都应包含该列，并且它应包含数据资产中每一行的唯一 ID。
   3. 在步骤 3 中，选择要使用的性能指标，并指定其各自的阈值。

   

5. 选择“保存”。 在“选择监视信号”页上，模型性能信号可见。

   

完成配置

1. 在“选择监视信号”页上，选择“ 下一步”。

2. 在“通知”页上，打开模型性能信号的通知，然后选择“ 下一步”。

3. 在“查看监视设置”页上，查看设置。

   

4. 选择 Create 来创建你的模型性能监控器。

1. 创建类似于以下文件的监视定义 YAML 文件。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id，请使用值的格式为 azureml:<endpoint-name>:<deployment-name>。
   • 对于 pre_processing_component，请使用值的格式为 azureml:<component-name>:<component-version>。 指定确切的版本，例如 1.0.0，而不是 1。
   • 对于每个 path，请使用格式为 azureml:<data-asset-name>:<version> 的值。
   • target_column对于值，请使用包含模型预测的值的输出列的名称。
   • 在下方 emails，列出要用于通知的电子邮件地址。

# model-monitoring-with-collected-data.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with your own production data

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:
  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
  
  monitoring_signals:

    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_inputs
        pre_processing_component: azureml:production_data_preprocessing:1.0.0
      reference_data:
        input_data:
          path: azureml:my_model_training_data:1 # use training data as comparison baseline
          type: mltable
        data_context: training
        data_column_names:
          target_column: is_fraud
      features: 
        top_n_feature_importance: 20 # monitor drift for top 20 features
      alert_enabled: true
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02

    advanced_prediction_drift: # monitoring signal name, any user defined name works
      type: prediction_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_outputs
        pre_processing_component: azureml:production_data_preprocessing:1.0.0
      reference_data:
        input_data:
          path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
          type: mltable
        data_context: validation
      alert_enabled: true
      metric_thresholds:
        categorical:
          pearsons_chi_squared_test: 0.02
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

1. 运行以下命令以创建模型。

   az ml schedule create -f ./model-monitoring-with-collected-data.yaml
   

使用类似于以下 Python 代码的脚本来设置模型监视。 首先将以下占位符替换为适当的值：

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
subscription_id = "<subscription-ID>"
resource_group = "<resource-group-name>"
workspace = "<workspace-name>"
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

# Specify the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the target data asset (the production data asset).
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:<preprocessing-component-name>:1.0.0"
)

# Specify the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<training-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

工作室当前不支持为部署在Azure Machine Learning外部的模型配置监视。 请改为查看Azure CLI或 Python SDK 选项卡。

使用 Azure CLI 或 Python SDK 配置监视后，可以在工作室中查看监视结果。 有关解释监视结果的详细信息，请参阅 解释监视结果。

在 Azure Machine Learning 中创建和注册自定义信号组件后，请执行以下步骤来设置模型监视：

1. 在 YAML 文件中创建类似于以下定义的监视定义。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 component_id，请使用值的格式为 azureml:<custom-signal-name>:1.0.0。
   • 在输入数据部分的path，请使用格式为azureml:<production-data-asset-name>:<version>的值。
   • 对于 pre_processing_component：
     • 如果使用 数据收集器 收集数据，则可以省略该 pre_processing_component 属性。
     • 如果不使用数据收集器，并且想使用组件预处理生产数据，请使用 azureml:<custom-preprocessor-name>:<custom-preprocessor-version> 格式的值。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # custom-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: my-custom-signal
   trigger:
     type: recurrence
     frequency: day # Possible frequency values include "minute," "hour," "day," "week," and "month."
     interval: 7 # Monitoring runs every day when you use the value 1.
   create_monitor:
     compute:
       instance_type: "standard_e4s_v3"
       runtime_version: "3.3"
     monitoring_signals:
       customSignal:
         type: custom
         component_id: azureml:my_custom_signal:1.0.0
         input_data:
           production_data:
             input_data:
               type: uri_folder
               path: azureml:my_production_data:1
             data_context: test
             data_window:
               lookback_window_size: P30D
               lookback_window_offset: P7D
             pre_processing_component: azureml:custom_preprocessor:1.0.0
         metric_thresholds:
           - metric_name: std_deviation
             threshold: 2
     alert_notification:
       emails:
         - abc@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./custom-monitoring.yaml
   

Python SDK 当前不支持监视自定义信号。 请改为查看“Azure CLI”选项卡。

工作室当前不支持监视自定义信号。 请改为查看“Azure CLI”选项卡。