设置 AutoML 以训练计算机视觉模型

适用于：Azure CLI ml 扩展 v2（当前）

• Azure 机器学习工作区。 若要创建工作区，请参阅创建工作区资源。
• 安装并设置 CLI (v2)，并确保安装 ml 扩展。

适用范围：Python SDK azure-ai-ml v2（最新版）

• Python 3.10 或更高版本。

• Azure 机器学习工作区。 若要创建工作区，请参阅创建工作区资源。

• 已安装 Azure 机器学习 Python SDK v2。

  若要安装 SDK，可以：

  • 创建一个计算实例，该实例将自动安装 SDK 并针对 ML 工作流进行预先配置。 有关详细信息，请参阅创建 Azure 机器学习计算实例。

  • 使用以下命令安装 Azure 机器学习 Python SDK v2：

    • 卸载以前的预览版：

    pip uninstall azure-ai-ml
    

    • 安装 Azure 机器学习 Python SDK v2：

    pip install azure-ai-ml azure-identity
    

适用于：Azure CLI ml 扩展 v2（当前）

将任务类型设置为必需参数。 使用 task 密钥设置此参数。

例如：

task: image_object_detection

适用范围：Python SDK azure-ai-ml v2（最新版）

使用基于任务类型的任务特定 automl 函数创建 AutoML 映像作业。

例如：

from azure.ai.ml import automl
image_object_detection_job = automl.image_object_detection()

适用于：Azure CLI ml 扩展 v2（当前）

使用 training_data 密钥传递所需的训练数据参数。 （可选）使用 validation_data 密钥将另一个 MLTable 指定为验证数据。 如果未指定验证数据，则默认使用 20% 训练数据进行验证，除非传递 validation_data_size 具有不同值的参数。

使用 target_column_name 密钥传递所需的目标列名称参数。 使用此参数作为受监督 ML 任务的目标。 例如，

target_column_name: label
training_data:
  path: data/training-mltable-folder
  type: mltable
validation_data:
  path: data/validation-mltable-folder
  type: mltable

适用范围：Python SDK azure-ai-ml v2（最新版）

使用以下代码从本地目录或云存储中的训练和验证 MLTable 生成数据输入：

# Training MLTable defined locally, with local data to be uploaded
my_training_data_input = Input(type=AssetTypes.MLTABLE, path=training_mltable_path)

# Validation MLTable defined locally, with local data to be uploaded
my_validation_data_input = Input(type=AssetTypes.MLTABLE, path=validation_mltable_path)

# WITH REMOTE PATH: If available already in the cloud/workspace-blob-store
# my_training_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/train")
# my_validation_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/valid")

使用任务特定类型training_data函数的automl参数传递所需的训练数据参数。 （可选）使用 validation_data 参数将另一个 MLTable 指定为验证数据。 如果未指定验证数据，则默认使用 20% 训练数据进行验证，除非传递 validation_data_size 具有不同值的参数。

使用 target_column_name 任务特定 automl 函数的参数传递所需的目标列名称参数。 例如，

from azure.ai.ml import automl
image_object_detection_job = automl.image_object_detection(
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="label"
)

适用于：Azure CLI ml 扩展 v2（当前）

compute: azureml:gpu-cluster

适用范围：Python SDK azure-ai-ml v2（最新版）

from azure.ai.ml import automl

compute_name = "gpu-cluster"
image_object_detection_job = automl.image_object_detection(
    compute=compute_name,
)

适用于：Azure CLI ml 扩展 v2（当前）

limits:
  timeout_minutes: 60
  max_trials: 10
  max_concurrent_trials: 2

适用范围：Python SDK azure-ai-ml v2（最新版）

# Set limits
image_object_detection_job.set_limits(
    timeout_minutes=60,
    max_trials=10,
    max_concurrent_trials=2,
)

适用于：Azure CLI ml 扩展 v2（当前）

limits:
  max_trials: 10
  max_concurrent_trials: 2

适用范围：Python SDK azure-ai-ml v2（最新版）

image_object_detection_job.set_limits(max_trials=10, max_concurrent_trials=2)

适用于：Azure CLI ml 扩展 v2（当前）

若要对给定的体系结构（例如 yolov5）使用默认的超参数值，请在model_name节中使用training_parameters键来指定体系结构。 例如，

training_parameters:
    model_name: yolov5

适用范围：Python SDK azure-ai-ml v2（最新版）

若要对给定的体系结构（如 yolov5）使用默认的超参数值，请在任务特定model_name作业的方法中，通过set_training_parameters参数指定该体系结构automl。 例如，

image_object_detection_job.set_training_parameters(model_name="yolov5")

适用于：Azure CLI ml 扩展 v2（当前）

search_space:
  - model_name:
      type: choice
      values: [yolov5]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.01
    model_size:
      type: choice
      values: [small, medium]

  - model_name:
      type: choice
      values: [fasterrcnn_resnet50_fpn]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.001
    optimizer:
      type: choice
      values: [sgd, adam, adamw]
    min_size:
      type: choice
      values: [600, 800]

适用范围：Python SDK azure-ai-ml v2（最新版）

# Define search space
image_object_detection_job.extend_search_space(
    [
        SearchSpace(
            model_name=Choice(["yolov5"]),
            learning_rate=Uniform(0.0001, 0.01),
            model_size=Choice(["small", "medium"]),  # model-specific
            # image_size=Choice(640, 704, 768),  # model-specific; might need GPU with large memory
        ),
        SearchSpace(
            model_name=Choice(["fasterrcnn_resnet50_fpn"]),
            learning_rate=Uniform(0.0001, 0.001),
            optimizer=Choice(["sgd", "adam", "adamw"]),
            min_size=Choice([600, 800]),  # model-specific
            # warmup_cosine_lr_warmup_epochs=Choice([0, 3]),
        ),
    ]
)

适用于：Azure CLI ml 扩展 v2（当前）

sweep:
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

适用范围：Python SDK azure-ai-ml v2（最新版）

# Configure sweep settings
image_object_detection_job.set_sweep(
    max_trials=10,
    max_concurrent_trials=2,
    sampling_algorithm="random",
    early_termination=BanditPolicy(
        evaluation_interval=2, slack_factor=0.2, delay_evaluation=6
    ),
)

适用于：Azure CLI ml 扩展 v2（当前）

training_parameters:
  early_stopping: True
  evaluation_frequency: 1

适用范围：Python SDK azure-ai-ml v2（最新版）

# Pass the fixed settings or parameters
image_object_detection_job.set_image_model(early_stopping=True, evaluation_frequency=1)

适用于：Azure CLI ml 扩展 v2（当前）

training_parameters:
  advanced_settings: >
    {"apply_mosaic_for_yolo": false}

training_parameters:
  advanced_settings: >
    {"apply_automl_train_augmentations": false}

这两个标志彼此独立。 还可以使用以下设置将它们组合在一起。

training_parameters:
 advanced_settings: >
   {"apply_automl_train_augmentations": false, "apply_mosaic_for_yolo": false}

适用范围：Python SDK azure-ai-ml v2（最新版）

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_mosaic_for_yolo": false}'
)

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_automl_train_augmentations": false}'
)

这两个标志彼此独立。 还可以使用以下设置将它们组合在一起。

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_automl_train_augmentations": false, "apply_mosaic_for_yolo": false}'
)

适用于：Azure CLI ml 扩展 v2（当前）

training_parameters:
  checkpoint_run_id : "target_checkpoint_run_id"

适用范围：Python SDK azure-ai-ml v2（最新版）

若要从所需模型查找作业 ID，请使用以下代码。

# find a job id to get a model checkpoint from
import mlflow

# Obtain the tracking URL from MLClient
MLFLOW_TRACKING_URI = ml_client.workspaces.get(
    name=ml_client.workspace_name
).mlflow_tracking_uri
mlflow.set_tracking_uri(MLFLOW_TRACKING_URI)

from mlflow.tracking.client import MlflowClient

mlflow_client = MlflowClient()
mlflow_parent_run = mlflow_client.get_run(automl_job.name)

# Fetch the id of the best automl child trial.
target_checkpoint_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]

若要通过作业 ID 传递检查点，请使用 checkpoint_run_id 函数中的 set_training_parameters 参数。

image_object_detection_job = automl.image_object_detection(
    compute=compute_name,
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="label",
    primary_metric=ObjectDetectionPrimaryMetrics.MEAN_AVERAGE_PRECISION,
    tags={"my_custom_tag": "My custom value"},
)

image_object_detection_job.set_training_parameters(checkpoint_run_id=target_checkpoint_run_id)

automl_image_job_incremental = ml_client.jobs.create_or_update(
    image_object_detection_job
) 

适用于：Azure CLI ml 扩展 v2（当前）

若要提交 AutoML 作业，请使用.yml文件、工作区名称、资源组和订阅 ID 的路径运行以下 CLI v2 命令。

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

配置 AutoML 作业时，请提交作业。

# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    image_object_detection_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

适用于：Azure CLI ml 扩展 v2（当前）

CLI example not available, please use Python SDK.

适用范围：Python SDK azure-ai-ml v2（最新版）

# Get the best model's child run

best_child_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]
print("Found best child run id: ", best_child_run_id)

best_run = mlflow_client.get_run(best_child_run_id)

print("Best child run: ")
print(best_run)

# Create local folder
local_dir = "./artifact_downloads"
if not os.path.exists(local_dir):
    os.mkdir(local_dir)

# Download run's artifacts/outputs
local_path = mlflow_client.download_artifacts(
    best_run.info.run_id, "outputs", local_dir
)
print("Artifacts downloaded in: {}".format(local_path))
print("Artifacts: {}".format(os.listdir(local_path)))

适用于：Azure CLI ml 扩展 v2（当前）

 az ml model create --name od-fridge-items-mlflow-model --version 1 --path azureml://jobs/$best_run/outputs/artifacts/outputs/mlflow-model/ --type mlflow_model --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

model_name = "od-fridge-items-mlflow-model"
model = Model(
    path=f"azureml://jobs/{best_run.info.run_id}/outputs/artifacts/outputs/mlflow-model/",
    name=model_name,
    description="my sample object detection model",
    type=AssetTypes.MLFLOW_MODEL,
)

# for downloaded file
# model = Model(
#     path=path="artifact_downloads/outputs/mlflow-model/",
#     name=model_name,
#     description="my sample object detection model",
#     type=AssetTypes.MLFLOW_MODEL,
# )

registered_model = ml_client.models.create_or_update(model)

适用于：Azure CLI ml 扩展 v2（当前）

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: od-fridge-items-endpoint
auth_mode: key

适用范围：Python SDK azure-ai-ml v2（最新版）

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

online_endpoint_name = "od-fridge-items-" + datetime.datetime.now().strftime(
    "%m%d%H%M%f"
)

# create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for deploying model",
    auth_mode="key",
    tags={"foo": "bar"},
)
print(online_endpoint_name)

适用于：Azure CLI ml 扩展 v2（当前）

az ml online-endpoint create --file .\create_endpoint.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

ml_client.begin_create_or_update(endpoint)

适用于：Azure CLI ml 扩展 v2（当前）

name: od-fridge-items-mlflow-deploy
endpoint_name: od-fridge-items-endpoint
model: azureml:od-fridge-items-mlflow-model@latest
instance_type: Standard_DS3_v2
instance_count: 1
liveness_probe:
    failure_threshold: 30
    success_threshold: 1
    timeout: 2
    period: 10
    initial_delay: 2000
readiness_probe:
    failure_threshold: 10
    success_threshold: 1
    timeout: 10
    period: 10
    initial_delay: 2000 

适用范围：Python SDK azure-ai-ml v2（最新版）

deployment = ManagedOnlineDeployment(
    name="od-fridge-items-mlflow-deploy",
    endpoint_name=online_endpoint_name,
    model=registered_model.id,
    instance_type="Standard_DS3_V2",
    instance_count=1,
    liveness_probe=ProbeSettings(
        failure_threshold=30,
        success_threshold=1,
        timeout=2,
        period=10,
        initial_delay=2000,
    ),
    readiness_probe=ProbeSettings(
        failure_threshold=10,
        success_threshold=1,
        timeout=10,
        period=10,
        initial_delay=2000,
    ),
)

适用于：Azure CLI ml 扩展 v2（当前）

az ml online-deployment create --file .\create_deployment.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

ml_client.online_deployments.begin_create_or_update(deployment)

适用于：Azure CLI ml 扩展 v2（当前）

az ml online-endpoint update --name 'od-fridge-items-endpoint' --traffic 'od-fridge-items-mlflow-deploy=100' --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

# od fridge items deployment to take 100% traffic
endpoint.traffic = {"od-fridge-items-mlflow-deploy": 100}
ml_client.begin_create_or_update(endpoint)

适用于：Azure CLI ml 扩展 v2（当前）

properties:
  node_count_per_trial: "2"

适用范围：Python SDK azure-ai-ml v2（最新版）

所有任务都支持多节点训练。 可以通过使用与node_count_per_trial任务相关的automl函数来指定属性。 例如，对于对象检测：

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(
    ...,
    properties={"node_count_per_trial": 2}
)

适用于：Azure CLI ml 扩展 v2（当前）

training_parameters:
  advanced_settings: >
    {"stream_image_files": true}

适用范围：Python SDK azure-ai-ml v2（最新版）

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"stream_image_files": true}'
)

有关详细的代码示例和用例，请参阅 用于自动化机器学习示例的 azureml 示例存储库。

适用范围：Python SDK azure-ai-ml v2（最新版）

有关详细的代码示例和用例，请参阅 GitHub 笔记本存储库，了解自动化机器学习示例。