监视部署到生产环境的模型的性能

• Azure CLI 和 ml Azure CLI 的扩展，已安装并配置。 有关详细信息，请参阅安装和设置 CLI （v2）。

• Bash shell 或其他兼容的 shell，例如 Linux 系统中的 shell 或 Windows 的 Linux 子系统。 本文中的 Azure CLI 示例假定你使用这种类型的 shell。

• Azure 机器学习工作区。 有关创建工作区的说明，请参阅 “设置”。

• Azure 机器学习工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• 适用于 Python v2 的 Azure 机器学习 SDK。 若要安装 SDK，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅 适用于 Python 的 Azure 机器学习包客户端库。

• Azure 订阅。 如果没有 Azure 订阅，请在开始之前创建一个免费帐户。

• Azure 机器学习工作区。 有关创建工作区的步骤，请参阅 “创建工作区”。

• Azure 机器学习计算实例。 有关创建计算实例的步骤，请参阅 “创建计算实例”。

使用 Azure CLI 创建监视器时，请使用 YAML 配置文件。 在该文件中，将 create_monitor.compute.instance_type 值设置为要使用的类型。

当您使用 Python SDK 创建监视器时，需使用 azure.ai.ml.entities.ServerlessSparkCompute 来创建计算实例。 调用该方法时，请将 instance_type 参数设置为要使用的类型。

使用 Azure 机器学习工作室添加监视器时，将打开“基本设置”页。 在 “虚拟机大小”下，选择要使用的类型。

在 Azure CLI 中，使用 az ml schedule 来安排监视作业。

1. 在 YAML 文件中创建监视定义。 有关开箱即用的示例定义，请参阅以下 YAML 代码，该代码也可以在 azureml-examples 存储库中找到。

   使用此定义之前，请调整值以适应你的环境。 对于 endpoint_deployment_id，请使用值的格式为 azureml:<endpoint-name>:<deployment-name>。

   # out-of-box-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: credit_default_model_monitoring
   display_name: Credit default model monitoring
   description: Credit default model monitoring setup with minimal configurations
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
   
     compute: # specify a spark compute for monitoring job
       instance_type: standard_e4s_v3
       runtime_version: "3.3"
   
     monitoring_target: 
       ml_task: classification # model task type: [classification, regression, question_answering]
       endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id
   
     alert_notification: # emails to get alerts
       emails:
         - abc@example.com
         - def@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./out-of-box-monitoring.yaml
   

使用类似于以下示例的代码。 将以下占位符替换为适当的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify your online endpoint deployment.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

1. 在 Azure 机器学习工作室中，转到您的工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

   

3. 在“基本设置”页上，输入以下信息：

   • 在 “可选”下选择模型，选择要监视的模型。
   • 在 “（可选）选择启用了数据收集的部署”下，选择要监视的部署。 如果模型部署到 Azure 机器学习联机终结点，则应自动填充此列表。
   • 在 “可选”下选择训练数据，选择要用作比较引用的训练数据。
   • 在 “监视名称”下，输入监视的名称，或保留默认名称。
   • 在 虚拟机大小下，使用默认大小。
   • 在 “时区”下，选择时区。
   • 对于计划，请选择“重复”或“Cron 表达式”。
   • 对于重复计划，请指定重复频率、日期和时间。 对于 Cron 表达式计划，请输入用于监视运行的 Cron 表达式。

   

4. 选择“下一步”。

5. 在以下页面上，选择“ 下一步” ：

   • 配置数据资产
   • 选择监视信号

6. 在“通知”页上，输入要用于接收通知的电子邮件地址，然后选择“ 下一步”。

7. 在“查看监视详细信息”页上，查看设置，然后选择“ 创建”。

1. 在 YAML 文件中创建监视定义。 有关示例高级定义，请参阅以下 YAML 代码，该代码在 azureml-examples 存储库中也可用。

   使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id，请使用格式为 azureml:<endpoint-name>:<deployment-name> 的值。
   • 对于引用输入数据部分中的 path，请使用格式为 azureml:<reference-data-asset-name>:<version> 的值。
   • 对于 target_column，请使用包含模型预测的值的输出列的名称，例如 DEFAULT_NEXT_MONTH。
   • 对于features，列出要用于高级数据质量信号的功能，例如SEX、EDUCATION和AGE。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # advanced-model-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: fraud_detection_model_monitoring
   display_name: Fraud detection model monitoring
   description: Fraud detection model monitoring with advanced configurations
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
   
     compute: 
       instance_type: standard_e4s_v3
       runtime_version: "3.3"
   
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:credit-default:main
     
     monitoring_signals:
       advanced_data_drift: # monitoring signal name, any user defined name works
         type: data_drift
         # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
         reference_data:
           input_data:
             path: azureml:credit-reference:1 # use training data as comparison reference dataset
             type: mltable
           data_context: training
           data_column_names:
             target_column: DEFAULT_NEXT_MONTH
         features: 
           top_n_feature_importance: 10 # monitor drift for top 10 features
         alert_enabled: true
         metric_thresholds:
           numerical:
             jensen_shannon_distance: 0.01
           categorical:
             pearsons_chi_squared_test: 0.02
       advanced_data_quality:
         type: data_quality
         # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
         reference_data:
           input_data:
             path: azureml:credit-reference:1
             type: mltable
           data_context: training
         features: # monitor data quality for 3 individual features only
           - SEX
           - EDUCATION
         alert_enabled: true
         metric_thresholds:
           numerical:
             null_value_rate: 0.05
           categorical:
             out_of_bounds_rate: 0.03
   
       feature_attribution_drift_signal:
         type: feature_attribution_drift
         # production_data: is not required input here
         # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
         # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
         reference_data:
           input_data:
             path: azureml:credit-reference:1
             type: mltable
           data_context: training
           data_column_names:
             target_column: DEFAULT_NEXT_MONTH
         alert_enabled: true
         metric_thresholds:
           normalized_discounted_cumulative_gain: 0.9
     
     alert_notification:
       emails:
         - abc@example.com
         - def@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./advanced-model-monitoring.yaml
   

若要设置高级模型监视，请使用类似于以下示例的代码。 将以下占位符替换为适当的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the online deployment if you have one.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Specify a look-back window size and offset to use. Omit this line to use the default values, which are listed in the documentation.
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

# Set up the production data.
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# Set up the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<reference-data-asset-name>:1"
    ),
    data_column_names={
        "target_column":"<target-column>"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced prediction drift signal.
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['<feature-1>', '<feature-2>', '<feature-3>']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create a feature attribution drift signal.
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置高级监视，请执行以下步骤。

配置基本设置

1. 在 Azure 机器学习工作室中，转到您的工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

3. 在“基本设置”页面中，输入“ 配置开箱即用的模型监控”中所述的信息。

添加数据资产

1. 在“基本设置”页上，配置设置后，选择“ 下一步”。 “ 高级设置” 部分的“配置数据资产”页随即打开。

2. 如果未看到要作为引用使用的数据资产，请选择“添加”。 然后输入数据资产设置。 建议使用模型训练数据作为数据偏移和数据质量的比较参考数据资产。 此外，使用模型验证数据作为预测偏移的比较参考数据资产。

   

编辑数据偏移设置

1. 在“配置数据资产”页上，添加数据资产后，选择“ 下一步”。 此时会打开 “选择监视信号 ”页。 如果使用 Azure 机器学习联机部署，则会看到一些监视信号。 数据偏移、数据质量和预测偏移信号使用最近、过去的生产数据作为比较参考数据资产，并使用指标和阈值的智能默认值。

   

2. 在数据偏移信号旁边，选择“ 编辑”。

3. 在 “编辑信号 ”窗口中，执行以下步骤来配置数据偏移信号：

   1. 在步骤 1 中：
      1. 对于生产数据资产，请选择模型输入数据资产。
      2. 选择要使用的回溯窗口大小。
   2. 在步骤 2 中：
      1. 对于参考数据资产，请选择训练数据资产。
      2. 选择目标列或输出列。
   3. 在步骤 3 中，选择 前 N 个功能 以监视 N 最重要的特征的偏移。 或者，如果要监视特定集的偏移，请选择特定功能。
   4. 在步骤 4 中，选择要用于数字特征的指标和阈值。
   5. 在步骤 5 中，选择要用于分类功能的指标和阈值。
   6. 选择“保存”。

   

添加特征归因偏移信号

1. 在“选择监视信号”页上，选择“ 添加”。

2. 在“编辑信号”窗口中，选择 功能属性偏移（预览），然后执行以下步骤来配置特征属性偏移信号：

   1. 在步骤 1 中：
      1. 选择具有模型输入数据的生产数据资产。
      2. 选择要使用的回溯窗口大小。
   2. 在步骤 2 中：
      1. 选择具有模型输出数据的生产数据资产。
      2. 选择要用于联接生产数据和输出数据的通用列。 如果使用 数据收集器 收集数据，请选择 correlationid。
   3. （可选）如果使用数据收集器以将输入和输出数据联接在一起的格式进行收集，请执行以下步骤：
      1. 在步骤 1 中，对于生产数据资产，请选择已联接的数据资产。
      2. 在步骤 2 中，选择“ 删除 ”以从配置面板中删除步骤 2。
   4. 在步骤 3 中：
      1. 对于参考数据资产，请选择训练数据资产。
      2. 为训练数据资产选择目标列或输出列。
   5. 在步骤 4 中，选择要使用的指标和阈值。
   6. 选择“保存”。

   

完成配置

1. 在“选择监视信号”页上，完成监视信号的配置，然后选择“ 下一步”。

   

2. 在“通知”页上，为每个信号启用通知，然后选择“ 下一步”。

3. 在“查看监视详细信息”页上，查看设置。

   

4. 选择“创建”以创建高级模型监视器。

满足 模型性能监视的先决条件后，请执行以下步骤来设置模型监视：

1. 在 YAML 文件中创建监视定义。 以下示例规范定义了使用生产推理数据的模型监视。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id，请使用格式为 azureml:<endpoint-name>:<deployment-name> 的值。
   • 对于输入数据节中的每个 path 值，请使用格式为 azureml:<data-asset-name>:<version> 的值。
   • prediction对于值，请使用包含模型预测的值的输出列的名称。
   • 对于 actual 值，请使用包含模型试图预测的实际值的“基本事实数据”列的名称。
   • 对于 correlation_id 值，请使用用于连接输出数据和基本事实数据的列的名称。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # model-performance-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: model_performance_monitoring
   display_name: Credit card fraud model performance
   description: Credit card fraud model performance
   
   trigger:
     type: recurrence
     frequency: day
     interval: 7 
     schedule: 
       hours: 10
       minutes: 15
   
   create_monitor:
     compute: 
       instance_type: standard_e8s_v3
       runtime_version: "3.3"
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment
   
     monitoring_signals:
       fraud_detection_model_performance: 
         type: model_performance 
         production_data:
           input_data:
             path: azureml:credit-default-main-model_outputs:1
             type: mltable
           data_column_names:
             prediction: is_fraud
             correlation_id: correlation_id
         reference_data:
           input_data:
             path: azureml:my_model_ground_truth_data:1
             type: mltable
           data_column_names:
             actual: is_fraud
             correlation_id: correlation_id
           data_context: ground_truth
         alert_enabled: true
         metric_thresholds: 
           tabular_classification:
             accuracy: 0.95
             precision: 0.8
     alert_notification: 
         emails: 
           - abc@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./model-performance-monitoring.yaml
   

满足 模型性能监视的先决条件后，使用以下 Python 代码设置模型监视。 首先将以下占位符替换为适当的值：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the type of the model task.
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# Specify production data that the model data collector generates. 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<production-target-column>",
        "join_column": "<production-join-column>"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# Specify the ground truth reference data.
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<ground-truth-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<ground-truth-target-column>",
        "join_column": "<ground-truth-join-column>"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# Create the model performance signal.
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'model_performance':model_performance,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置模型性能监视，请执行以下步骤。

配置基本设置

1. 在 Azure 机器学习工作室中，转到您的工作区。

2. 在“ 管理”下，选择“ 监视”，然后选择“ 添加”。

3. 在“基本设置”页面输入如之前“设置开箱即用模型监控”中所述的信息。

添加数据资产

1. 在“基本设置”页上，选择“ 下一步 ”打开 “高级设置 ”部分的“配置数据资产”页。

2. 选择“添加”，然后添加要用作基本事实数据资产的数据资产。 基本事实数据资产必须具有唯一的 ID 列。 此外，地实数据资产的唯一 ID 列中的值和模型输出数据资产必须匹配。 然后，在进行指标计算之前，可以将这些数据资产联接在一起。

   

3. 如果在添加的数据资产列表中看不到模型输出数据资产，请选择“ 添加”，然后添加它。

   

添加性能监视信号

1. 在“配置数据资产”页上，选择“ 下一步”。 此时会打开“选择监视信号”页。 如果使用 Azure 机器学习联机部署，则会看到监视信号列表。

2. 删除页面上看到的任何监视信号。 本部分的重点是创建模型性能监视信号。

3. 选择 添加 。

4. 在“编辑信号”窗口中，选择 “模型性能”（预览），然后执行以下步骤来配置模型性能信号：

   1. 在步骤 1 中：
      1. 对于生产数据资产，请选择模型输出数据资产。
      2. 选择适当的目标列，例如 DEFAULT_NEXT_MONTH。
      3. 选择要使用的回溯窗口大小和偏移量。
   2. 在步骤 2 中：
      1. 对于参考数据资产，请选择基本事实数据资产。
      2. 选择目标列，例如 ground_truth。
      3. 选择要用于与模型输出数据资产联接的列，例如correlationid。 两个数据资产都应包含该列，并且它应包含数据资产中每一行的唯一 ID。
   3. 在步骤 3 中，选择要使用的性能指标，并指定其各自的阈值。

   

5. 选择“保存”。 在“选择监视信号”页上，模型性能信号可见。

   

完成配置

1. 在“选择监视信号”页上，选择“ 下一步”。

2. 在“通知”页上，打开模型性能信号的通知，然后选择“ 下一步”。

3. 在“查看监视设置”页上，查看设置。

   

4. 选择“创建”以创建模型性能监视器。

1. 创建类似于以下文件的监视定义 YAML 文件。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 endpoint_deployment_id ，请使用格式为 azureml:<endpoint-name>:<deployment-name> 的值。
   • 对于 pre_processing_component，请使用 azureml:<component-name>:<component-version> 格式的值。 指定确切的版本，例如 1.0.0，而不是 1。
   • 对于每个 path，请使用格式为 azureml:<data-asset-name>:<version> 的值。
   • target_column对于值，请使用包含模型预测的值的输出列的名称。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # model-monitoring-with-collected-data.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: fraud_detection_model_monitoring
   display_name: Fraud detection model monitoring
   description: Fraud detection model monitoring with your own production data
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
     compute: 
       instance_type: standard_e4s_v3
       runtime_version: "3.3"
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
     
     monitoring_signals:
   
       advanced_data_drift: # monitoring signal name, any user defined name works
         type: data_drift
         # define production dataset with your collected data
         production_data:
           input_data:
             path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
             type: uri_folder
           data_context: model_inputs
           pre_processing_component: azureml:production_data_preprocessing:1.0.0
         reference_data:
           input_data:
             path: azureml:my_model_training_data:1 # use training data as comparison baseline
             type: mltable
           data_context: training
           data_column_names:
             target_column: is_fraud
         features: 
           top_n_feature_importance: 20 # monitor drift for top 20 features
         alert_enabled: true
         metric_thresholds:
           numerical:
             jensen_shannon_distance: 0.01
           categorical:
             pearsons_chi_squared_test: 0.02
   
       advanced_prediction_drift: # monitoring signal name, any user defined name works
         type: prediction_drift
         # define production dataset with your collected data
         production_data:
           input_data:
             path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
             type: uri_folder
           data_context: model_outputs
           pre_processing_component: azureml:production_data_preprocessing:1.0.0
         reference_data:
           input_data:
             path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
             type: mltable
           data_context: validation
         alert_enabled: true
         metric_thresholds:
           categorical:
             pearsons_chi_squared_test: 0.02
     
     alert_notification:
       emails:
         - abc@example.com
         - def@example.com
   

2. 运行以下命令以创建模型。

   az ml schedule create -f ./model-monitoring-with-collected-data.yaml
   

使用类似于以下 Python 代码的脚本来设置模型监视。 首先将以下占位符替换为适当的值：

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
subscription_id = "<subscription-ID>"
resource_group = "<resource-group-name>"
workspace = "<workspace-name>"
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

# Specify the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the target data asset (the production data asset).
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:<preprocessing-component-name>:1.0.0"
)

# Specify the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<training-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

工作室目前不支持为在 Azure 机器学习外部部署的模型配置监视。 请转而查看 Azure CLI 或 Python SDK 选项卡。

使用 Azure CLI 或 Python SDK 配置监视后，可以在工作室中查看监视结果。 有关解释监视结果的详细信息，请参阅 解释监视结果。

在 Azure 机器学习中创建和注册自定义信号组件后，请执行以下步骤来设置模型监视：

1. 在 YAML 文件中创建类似于以下定义的监视定义。 使用此定义之前，请调整以下设置和任何其他设置以满足环境的需求：

   • 对于 component_id，请使用格式为 azureml:<custom-signal-name>:1.0.0 的值。
   • 在输入数据部分的path，请使用格式为azureml:<production-data-asset-name>:<version>的值。
   • 对于 pre_processing_component：
     • 如果使用 数据收集器 收集数据，则可以省略该 pre_processing_component 属性。
     • 如果不使用数据收集器，并且想使用组件预处理生产数据，请使用 azureml:<custom-preprocessor-name>:<custom-preprocessor-version> 格式的值。
   • 在下方 emails，列出要用于通知的电子邮件地址。

   # custom-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: my-custom-signal
   trigger:
     type: recurrence
     frequency: day # Possible frequency values include "minute," "hour," "day," "week," and "month."
     interval: 7 # Monitoring runs every day when you use the value 1.
   create_monitor:
     compute:
       instance_type: "standard_e4s_v3"
       runtime_version: "3.3"
     monitoring_signals:
       customSignal:
         type: custom
         component_id: azureml:my_custom_signal:1.0.0
         input_data:
           production_data:
             input_data:
               type: uri_folder
               path: azureml:my_production_data:1
             data_context: test
             data_window:
               lookback_window_size: P30D
               lookback_window_offset: P7D
             pre_processing_component: azureml:custom_preprocessor:1.0.0
         metric_thresholds:
           - metric_name: std_deviation
             threshold: 2
     alert_notification:
       emails:
         - abc@example.com
   

2. 运行以下命令以创建模型：

   az ml schedule create -f ./custom-monitoring.yaml
   

Python SDK 当前不支持监视自定义信号。 请参阅 Azure CLI 选项卡。

工作室当前不支持监视自定义信号。 请参阅 Azure CLI 选项卡。