安排机器学习管道作业

• 按照安装、设置并使用 CLI (v2)中的说明安装 Azure CLI 和 ml 扩展。
• 了解如何创建 Azure 机器学习 YAML 管道。 有关信息，请参阅在 Azure 机器学习 CLI 中使用组件创建并运行机器学习管道。

• 适用于 Python 的 Azure 机器学习 SDK v2已安装。
• 了解如何为 Azure 机器学习创建 Python 管道。 有关信息，请参阅在 Azure 机器学习 SDK 中使用组件创建并运行机器学习管道。

• 了解如何在 Azure 机器学习工作室中创建管道。 有关详细信息，请参阅使用具有Azure 机器学习工作室的组件创建和运行机器学习管道。

本文中的代码示例摘自在 Azure 机器学习 CLI 2.0 中使用计划。

本文中的代码示例摘自 Working with Schedule Azure 机器学习笔记本。 运行该笔记本以创建并管理所述计划。

若要在工作室 UI 中为 Azure 机器学习管道作业创建计划，请打开管道作业详细信息页面。

以下 YAML 代码为管道作业定义重复计划。 必需的 type 参数指定 trigger 类型为 recurrence。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

提供以下计划参数。 标记必需的参数;其余部分是可选的。

以下代码使用 RecurrenceTrigger 来提供更好的编码体验。

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.now()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

提供以下计划参数。 标记必需的参数;其余部分是可选的。

若要打开计划创建向导，请选择页面顶部的 计划>创建新计划。

参数

• frequency （必需）是计划触发所依据的时间单位。 可以是 minute、hour、day、week 或 month。
• interval （必需）是计划重复周期之间的时间单位数。
• schedule（可选）定义重复周期模式，可以包含 hours、minutes 和 weekdays。 如果省略，则作业将根据 start_time、frequency 和 interval 的逻辑触发。
  • 当 frequency 为 day 时，模式可以指定 hours 和 minutes。
  • 当 frequency 为 week 或 month 时，模式可以指定 hours、minutes 和 weekdays。
    • hours 是 0 到 23 的整数或列表。
    • minutes 是 0 到 59 的整数或列表。
    • weekdays 是 monday 到 sunday 的字符串或列表。
• start_time（可选）是带时区的开始日期和时间。 如果省略，则默认值等于计划创建时间。 如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
• end_time（可选）是带时区的结束日期和时间。 如果省略此参数，计划将保持活动状态，直到手动禁用它。
• time_zone（可选）指定重复计划的时区。 如果省略，则默认值为协调世界时 (UTC)。 有关时区值的详细信息，请参阅时区值附录。

若要定义基于重复的计划，请在 “基本设置” 屏幕上设置以下属性。 只有 Name 属性需要一个值。 如果未指定其他属性的值，则默认计划为 Recurrence 模式，该模式从计划创建时开始，并于每星期一至星期五下午 4:00 (UTC) 运行。

• 名称：工作区中计划的唯一标识符。
• 说明：计划说明。
• 触发器：计划的重复周期模式，包括以下属性：
  • 时区：触发时间使用的时区，默认值为 UTC。
  • 选择 重复周期，并指定以分钟、小时、日、周或月为单位的重复模式。
  • 开始：计划变为活动状态的日期，默认值为创建日期。
  • 结束：计划变为非活动状态的日期。 默认情况下，该值为“无”，即，计划在被手动禁用之前一直保持活动状态。
  • 标签：日程的标签。

创建计划 YAML 后，通过 CLI 使用以下命令创建计划：

# This action creates related resources for a schedule and can take up to a minute to complete.
az ml schedule create --file recurrence-job-schedule.yml --no-wait

若要确认计划已创建且处于活动状态，请按 列表计划 所示列出计划，或在 “查看计划详细信息”中将其打开。 新计划显示为 is_enabled: true。

以下 Python 代码创建你定义的计划：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

配置基本设置后，选择“审阅 + 创建”以查看设置，然后再次选择“审阅 + 创建”以创建计划。

以下 YAML 代码为管道作业定义周期性计划。 必需的 type 参数指定 trigger 类型为 cron。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

提供以下计划参数。 标记必需的参数;其余部分是可选的。

以下代码使用 CronTrigger 来提供更好的编码体验。

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

提供以下计划参数。 标记必需的参数;其余部分是可选的。

若要定义基于 cron 的计划，请在计划的“基本设置”屏幕上选择“Cron 表达式”，而不是“重复周期”。

参数

• expression （必需） 是定义定期计划的标准 crontab 表达式。
• start_time（可选）是带时区的计划开始日期和时间。 例如， start_time: "2022-05-10T10:15:00-04:00" 表示计划从 2022 年 5 月 10 日上午 10：15：00 开始，采用 UTC-4 时区。 如果省略此参数，则默认值为计划创建时间。 如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
• end_time（可选）是带时区的结束日期和时间。 如果省略此参数，计划将保持活动状态，直到手动禁用它。
• time_zone（可选）指定重复计划的时区。 如果省略此参数，则默认值为 UTC。

只有 Name 属性需要一个值。 如果未指定 cron 表达式，则默认的 cron 表达式将创建一个每日下午 4:00 (UTC) 运行的计划。

• 名称：工作区中计划的唯一标识符。
• 说明：日程的说明。
• 触发器：计划的重复周期模式，包括以下属性：
  • 时区：触发时间使用的时区，默认为协调世界时 (UTC)。
  • 选择 Cron 表达式 并提供定义定期计划的标准 crontab 表达式。
  • 开始日期：计划变为活动状态的日期，默认值为创建日期。
  • 结束日期：计划变为非活动状态的日期。 默认情况下，该值为“无”，即，计划将一直保持活动状态，直到你手动将其禁用。
  • 标记：日程上的标记。

创建计划 YAML 后，通过 CLI 使用以下命令创建计划：

# This action creates related resources for a schedule and can take up to a minute to complete.
az ml schedule create --file cron-job-schedule.yml --no-wait

若要确认计划已创建且处于活动状态，请按 列表计划 所示列出计划，或在 “查看计划详细信息”中将其打开。 新计划显示为 is_enabled: true。

以下 Python 代码创建你定义的计划：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

配置基本设置后，选择“查看 + 创建”以查看设置，然后再次选择“查看 + 创建”以创建计划。

定义计划时，可以更改运行管道作业时要使用的 settings、inputs 或 outputs。 还可以更改已触发作业的experiment_name。

以下计划定义将更改现有作业的设置。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

定义计划时，可以更改运行管道作业时要使用的 settings、inputs 或 outputs。 您还可以更改已触发作业的experiment_name。

以下计划定义将针对每个作业更改管道的设置。

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

在 Studio UI 中，使用计划创建向导中的高级设置来修改inputs、outputs以及管道作业的运行时settings。 无法在工作室 UI 中更改 experiment_name。

1. 在 作业输入和输出中，修改计划触发的未来作业的输入和输出。 对输入和输出路径使用宏表达式。

   

2. 在 作业运行时设置中，修改计划触发的作业的计算和其他运行时设置。

   

3. 选择“查看并创建”以查看已配置的计划设置，然后再次选择“查看并创建”以创建计划。

   

az ml schedule list

schedules = ml_client.schedules.list()
[s.name for s in schedules]

在工作室中的“作业”下，选择“所有计划”选项卡，以查看此工作区中由 SDK、CLI 或工作室 UI 创建的所有 v2 作业计划的列表。

az ml schedule show -n simple_cron_job_schedule

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

选择计划名称以显示计划详细信息页面，其中包含以下选项卡：

• 概述提供了有关该计划的基本信息。

  

• “作业定义”定义了该计划触发的作业。

  

• 作业历史记录提供了该计划触发的所有作业的列表。

  

az ml schedule update -n simple_cron_schedule  --set description="new description" --no-wait

job_schedule = ml_client.schedules.begin_create_or_update(schedule=job_schedule)
print(job_schedule)

在计划详细信息页中，选择“ 更新设置 ”以更新计划设置，包括作业输入/输出和运行时设置。

将新版本管道更新到现有计划

在设置好定期重新训练模型或在生产环境中执行批量推理的计划后，您可能会继续微调或优化该模型。 如果新版本管道作业具有优化的性能，你可以将新版本管道更新为按现有计划运行。

1. 在新版本管道作业详细信息页面中，选择计划>更新现有计划。

   

2. 选择现有计划以更新其作业定义。

   

   重要

   请确保选择要更新的正确计划。

3. （可选）选择下一步，以修改由计划触发的未来作业的作业输入/输出以及运行时设置。

4. 选择“查看 + 更新”以查看计划设置，然后再次选择“查看 + 更新”以完成更新。

更新完成后，可以在计划详细信息页中查看新的作业定义。 该计划现在会触发新作业。

az ml schedule disable -n simple_cron_job_schedule --no-wait

以下代码返回 False：

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

可以在所有计划选项卡中禁用计划，也可以在计划详细信息页面中禁用当前计划。

az ml schedule enable -n simple_cron_job_schedule --no-wait

以下代码返回 True：

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

可以在“所有计划”选项卡中启用计划，也可以在计划详细信息页面中启用当前计划。

az ml schedule enable -n simple_cron_schedule --no-wait

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(schedule=job_schedule)
print(job_schedule)

可以在“所有计划”选项卡中删除计划，也可以在计划详细信息页面中删除当前计划。