计划机器学习管道作业

• 按照安装、设置和使用 CLI (v2) 中的说明安装 Azure CLI 和 ml 扩展。
• 了解如何创建 Azure 机器学习 YAML 管道。 有关信息，请参阅在 Azure 机器学习 CLI 中使用组件创建并运行机器学习管道。

• 已安装适用于 Python 的 Azure 机器学习 SDK v2。
• 了解如何为 Azure 机器学习创建 Python 管道。 有关信息，请参阅在 Azure 机器学习 SDK 中使用组件创建并运行机器学习管道。

• 了解如何在 Azure 机器学习工作室中创建管道。 有关信息，请参阅在 Azure 机器学习工作室中使用组件创建并运行机器学习管道。

本文中的代码示例摘自在 Azure 机器学习 CLI 2.0 中使用计划。

本文中的代码示例摘自使用计划 Azure 机器学习笔记本。 运行该笔记本以创建并管理所述计划。

若要在工作室 UI 中为 Azure 机器学习管道作业创建计划，请打开管道作业详细信息页面。

以下 YAML 代码为管道作业定义重复计划。 必需的 type 参数指定 trigger 类型为 recurrence。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

必须（或可以）提供以下计划参数：

以下代码使用 RecurrenceTrigger 来提供更好的编码体验。

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.now()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

必须（或可以）提供以下计划参数：

若要打开计划创建向导，请选择页面顶部的“计划”>“创建新计划”。

参数

• frequency（必需）是计划触发依据的时间单位。 可以是 minutes、hours、days、weeks 或 months。
• interval（必需）是计划重复周期之间的时间单位数。
• schedule（可选）定义重复周期模式，可以包含 hours、minutes 和 weekdays。 如果省略，则作业将根据 start_time、frequency 和 interval 的逻辑触发。
  • 当 frequency 为 day 时，模式可以指定 hours 和 minutes。
  • 当 frequency 为 week 或 month 时，模式可以指定 hours、minutes 和 weekdays。
    • hours 是 0 到 23 之间的整数或列表。
    • minutes 是 0 到 59 之间的整数或列表。
    • weekdays 是 monday 到 sunday 的字符串或列表。
• start_time（可选）是带时区的开始日期和时间。 如果省略，则默认值等于计划创建时间。 如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
• end_time（可选）是带时区的结束日期和时间。 如果省略，则计划将保持活动状态，直到手动将其禁用。
• time_zone（可选）指定重复计划的时区。 如果省略，则默认值为协调世界时 (UTC)。 有关时区值的详细信息，请参阅时区值附录。

若要定义基于重复周期的计划，请在“基本设置”屏幕上定义以下属性。 只需为“名称”属性输入值。 如果未指定其他属性的值，则默认计划为“重复周期”模式，该模式从计划创建时间开始，并于每星期一至星期五下午 4:00 (UTC) 运行。

• 名称：工作区中计划的唯一标识符。
• 说明：计划说明。
• 触发器：计划的重复周期模式，包括以下属性：
  • 时区：触发时间使用的时区，默认值为 UTC。
  • 选择“重复周期”，并指定以分钟、小时、日、周或月为单位的重复模式。
  • 开始日期：计划变为活动状态的日期，默认值为创建日期。
  • 结束日期：计划变为非活动状态的日期。 默认情况下，该值为“无”，即，计划在被手动禁用之前一直保持活动状态。
  • 标记：计划的标记。

创建计划 YAML 后，通过 CLI 使用以下命令创建计划：

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

以下 Python 代码创建你定义的计划：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

配置基本设置后，选择“查看 + 创建”以查看设置，然后再次选择“查看 + 创建”以创建计划。

以下 YAML 代码为管道作业定义重复计划。 必需的 type 参数指定 trigger 类型为 cron。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

必须（或可以）提供以下计划参数：

以下代码使用 CronTrigger 来提供更好的编码体验。

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

必须（或可以）提供以下计划参数：

若要定义基于 cron 的计划，请在计划的“基本设置”屏幕上选择“Cron 表达式”而不是“重复周期”。

参数

• expression（必需）是一个表达重复计划的标准 crontab 表达式。
• start_time（可选）是带时区的计划开始日期和时间。 例如，start_time: "2022-05-10T10:15:00-04:00" 表示计划从 2022 年 5 月 10 日上午 10:15:00（UTC-4 时区）开始。 如果省略，则默认值等于计划创建时间。 如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
• end_time（可选）是带时区的结束日期和时间。 如果省略，则计划将保持活动状态，直到手动将其禁用。
• time_zone（可选）指定重复计划的时区。 如果省略，则默认值为 UTC。

只需为“名称”属性输入值。 如果未指定 cron 表达式，则默认的 cron 表达式将创建一个每日下午 4:00 (UTC) 运行的计划。

• 名称：工作区中计划的唯一标识符。
• 说明：计划的说明。
• 触发器：计划的重复周期模式，包括以下属性：
  • 时区：触发时间使用的时区，默认为协调世界时 (UTC)。
  • 选择“Cron 表达式”，并提供一个表示重复计划的标准 crontab 表达式。
  • 开始日期：计划变为活动状态的日期，默认值为创建日期。
  • 结束日期：计划变为非活动状态的日期。 默认情况下，该值为“无”，即，计划将一直保持活动状态，直到你手动将其禁用。
  • 标记：计划的标记。

创建计划 YAML 后，通过 CLI 使用以下命令创建计划：

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

以下 Python 代码创建你定义的计划：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

配置基本设置后，选择“查看 + 创建”以查看设置，然后再次选择“查看 + 创建”以创建计划。

定义计划时，可以更改运行管道作业时要使用的 settings、inputs 或 outputs。 还可以更改已触发作业的 experiment_name。

以下计划定义将更改现有作业的设置。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

定义计划时，可以更改运行管道作业时要使用的 settings、inputs 或 outputs。 还可以更改已触发作业的 experiment_name。

以下计划定义将更改每个作业的管道设置。

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

在工作室 UI 中，可以使用计划创建向导中的“高级设置”来修改管道作业的 inputs、outputs 和运行时 settings。 无法在工作室 UI 中更改 experiment_name。

1. 在“作业输入和输出”中，可以修改计划触发的未来作业的输入和输出。 可为输入和输出路径使用宏表达式。

   

2. 在“作业运行时设置”中，可以修改计划触发的作业的计算和其他运行时设置。

   

3. 选择“查看 + 创建”以查看配置的计划设置，然后再次选择“查看 + 创建”以创建计划。

   

az ml schedule list

schedules = ml_client.schedules.list()
[s.name for s in schedules]

在工作室中的“作业”下，选择“所有计划”选项卡，以查看此工作区中由 SDK、CLI 或工作室 UI 创建的所有 v2 作业计划的列表。

az ml schedule show -n simple_cron_job_schedule

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

选择计划名称以显示计划详细信息页面，其中包含以下选项卡：

• “概述”提供了有关该计划的基本信息。

  

• “作业定义”定义了该计划触发的作业。

  

• “作业历史记录”提供了该计划触发的所有作业的列表。

  

az ml schedule update -n simple_cron_schedule  --set description="new description" --no-wait

job_schedule = ml_client.schedules.begin_create_or_update(schedule=job_schedule)
print(job_schedule)

在计划详细信息页面中，可以选择“更新设置”来更新计划设置，包括作业输入/输出和运行时设置。

更新按现有计划运行的新版本管道

在设置计划以定期对生产环境进行重新训练或批量推理后，可以继续微调或优化模型。 如果新版本管道作业具有优化的性能，你可以更新按现有计划运行的新版本管道。

1. 在新版本管道作业详细信息页面中，选择“计划”>“更新现有计划”。

   

2. 选择现有计划以更新其作业定义。

   

   重要

   确保选择要更新的正确计划。

3. （可选）选择“下一步”，以修改由计划触发的未来作业的作业输入/输出以及运行时设置。

4. 选择“查看 + 更新”以查看计划设置，然后再次选择“查看 + 更新”以完成更新。

更新完成后，可以在计划详细信息页面中查看新的作业定义。 该计划现在会触发新作业。

az ml schedule disable -n simple_cron_job_schedule --no-wait

以下代码返回 False：

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

可以在“所有计划”选项卡中禁用计划，也可以在计划详细信息页面中禁用当前计划。

az ml schedule enable -n simple_cron_job_schedule --no-wait

以下代码返回 True：

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

可以在“所有计划”选项卡中启用计划，也可以在计划详细信息页面中启用当前计划。

az ml schedule enable -n simple_cron_schedule --no-wait

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(schedule=job_schedule)
print(job_schedule)

可以在“所有计划”选项卡中删除计划，也可以在计划详细信息页面中删除当前计划。