计划数据导入作业（预览）

• 安装 Azure CLI 和 ml 扩展。 按照安装、设置和使用 CLI (v2)中的安装步骤执行操作。

• 创建 Azure 机器学习工作区（如果没有）。 有关工作区的创建，请参阅安装、设置和使用 CLI (v2)。

• 创建 Azure 机器学习工作区（如果没有）。
• 适用于 Python 的 Azure 机器学习 SDK v2。

• Azure 机器学习工作区。 请参阅创建工作区资源。
• 了解 Azure 机器学习管道。 参阅什么是机器学习管道，以及如何在 CLI v2 或 SDK v2 中创建管道作业。

适用于：Azure CLI ml 扩展 v2（当前）

YAML：使用定期模式的数据导入计划

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML：与托管数据存储上定期模式内联的数据导入定义计划

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger 包含以下属性：

• （必需）type 指定计划类型，值为 recurrence 或 cron。 以下部分包含详细信息。

接下来，在 CLI 中运行以下命令：

> az ml schedule create -f <file-name>.yml

适用范围：Python SDK azure-ai-ml v2（最新版）

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger 包含以下属性：

• （必需）为了获得更好的编码体验，请为定期计划使用 RecurrenceTrigger。

当数据导入具有令人满意的性能和输出时，可以设置计划来自动触发该导入。

1. 导航到 Azure 机器学习工作室

2. 在左侧导航的“资产”下，选择“数据”。 在“数据导入”选项卡上，选择要将计划附加到的已导入数据资产。 应会显示“导入作业历史记录”页，如以下屏幕截图所示：

   

3. 在“导入作业历史记录”页面上，选择最新的“导入作业名称”超链接 URL，以打开管道作业详细信息页面，如以下屏幕截图所示：

   

4. 在任何数据导入的管道作业详细信息页上，选择“计划”->“创建新计划”以打开计划创建向导，如以下屏幕截图所示：

   

5. 计划创建向导的“基本设置”具有以下屏幕截图所示的属性：

   

• 名称：工作区中计划的唯一标识符。

• 说明：计划说明。

• 触发器：计划的定期模式，其中包括以下属性：

  • 时区：触发时间是基于此时区计算的；默认情况下为 (UTC) 协调世界时。
  • 重复或 Cron 表达式：选择“重复”以指定重复模式。 在“定期”下，可以指定定期频率 - 按分钟、小时、天、周或月。
  • 开始：计划在此日期首次变为活动状态。 默认为此计划的创建日期。
  • 结束：计划在此日期之后将变为非活动状态。 默认情况下为“无”，这表示在手动禁用之前，计划将始终处于活动状态。
  • 标记：所选计划标记。

  配置基本设置后，可以直接选择“查看 + 创建”，然后计划将根据所指定的定期模式自动提交数据导入。 还可以选择“下一步”，并在向导中导航以选择或更新数据导入参数。

YAML：使用 cron 表达式计划数据导入

适用于：Azure CLI ml 扩展 v2（当前）

YAML：使用 cron 表达式（预览版）计划数据导入

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML：计划与 cron 表达式（预览版）内联的数据导入定义

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger 部分定义计划详细信息，并包含以下属性：

• （必需）type 将指定 cron 计划类型。

> az ml schedule create -f <file-name>.yml

列表将在此处继续：

适用范围：Python SDK azure-ai-ml v2（最新版）

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

CronTrigger 部分定义计划详细信息，并包含以下属性：

• （必需）为了获得更好的编码体验，请为定期计划使用 CronTrigger。

列表将在此处继续：

当数据导入具有令人满意的性能和输出时，可以设置计划来自动触发该导入。

1. 导航到 Azure 机器学习工作室

2. 在左侧导航栏的“资产”下，选择“数据”。 在“数据导入”选项卡上，选择要将计划附加到的已导入数据资产。 应会显示“导入作业历史记录”页，如以下屏幕截图所示：

   

3. 在“导入作业历史记录”页面上，选择最新的“导入作业名称”超链接 URL，以打开管道作业详细信息页面，如以下屏幕截图所示：

   

4. 在任何数据导入的管道作业详细信息页上，选择“计划”->“创建新计划”以打开计划创建向导，如以下屏幕截图所示：

   

5. 计划创建向导的“基本设置”具有以下屏幕截图所示的属性：

   

• 名称：工作区中计划的唯一标识符。

• 说明：计划说明。

• 触发器：计划的定期模式，其中包括以下属性：

  • 时区：触发时间是基于此时区计算的；默认情况下为 (UTC) 协调世界时。
  • 重复或 Cron 表达式：选择“重复”以指定重复模式。 使用 Cron 表达式，可以指定更灵活的自定义定期模式。
  • 开始：计划在此日期首次变为活动状态。 默认为此计划的创建日期。
  • 结束：计划在此日期之后将变为非活动状态。 默认情况下为“无”，这表示在手动禁用之前，计划将始终处于活动状态。
  • 标记：所选计划标记。

  配置基本设置后，可以直接选择“查看 + 创建”，然后计划将根据所指定的定期模式自动提交数据导入。 还可以选择“下一步”，并在向导中导航以选择或更新数据导入参数。

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule list

适用范围：Python SDK azure-ai-ml v2（最新版）

schedules = ml_client.schedules.list()
[s.name for s in schedules]

在工作室门户中的“作业”扩展下，选择“所有计划”选项卡。该选项卡可通过单个列表显示由 SDK/CLI/UI 创建的所有作业计划。 在计划列表中，可找到此工作区中所有计划的概述，如以下屏幕截图所示：

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule show -n simple_cron_data_import_schedule

适用范围：Python SDK azure-ai-ml v2（最新版）

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

可以选择计划名称以显示计划详细信息页。 计划详细信息页包含以下选项卡，如以下屏幕截图所示：

• 概述：指定计划的基本信息。

  

• 作业定义：定义了指定计划触发的作业，如以下屏幕截图所示：

  

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

适用范围：Python SDK azure-ai-ml v2（最新版）

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

将数据导入定义更新为现有计划

要更改导入频率或为数据导入作业创建新的关联，可以更新现有计划的导入定义。

1. 导航到 Azure 机器学习工作室

2. 在左侧导航栏的“资产”下，选择“数据”。 在“数据导入”选项卡上，选择要将计划附加到的已导入数据资产。 应会显示“导入作业历史记录”页，如以下屏幕截图所示：

   

3. 在“导入作业历史记录”页上，选择最新的“导入作业名称”链接，以打开管道作业详细信息页，如以下屏幕截图所示：

   

4. 在任何数据导入的管道作业详细信息页上，选择“计划”->“更新为现有计划”以打开选择计划向导，如以下屏幕截图所示：

   

5. 从列表中选择现有计划，如以下屏幕截图所示：

   

   重要

   请确保选择要更新的正确计划。 完成更新后，计划将会触发不同的数据导入。

6. 对于计划触发的将来的数据导入，还可以修改源、查询和更改目标路径。

7. 选择“查看 + 更新”以完成更新过程。 完成的更新将会发送通知。

8. 更新完成后，可以在计划详细信息页中查看新的数据导入定义。

在计划详细信息页中更新

在计划详细信息页中，可以选择“更新设置”以更新基本设置和高级设置（包括计划的作业输入/输出和运行时设置），如以下屏幕截图所示：

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

在计划详细信息页上，可以禁用当前计划。 还可以在“所有计划”选项卡禁用计划。

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

适用范围：Python SDK azure-ai-ml v2（最新版）

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

在计划详细信息页面上，可以启用当前计划。 还可以在“所有计划”选项卡启用计划。

适用于：Azure CLI ml 扩展 v2（当前）

az ml schedule delete -n simple_cron_data_import_schedule

适用范围：Python SDK azure-ai-ml v2（最新版）

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

可以从计划详细信息页或“所有计划”选项卡中删除计划。