CLI (v2) 导入计划 YAML 架构

项目
12/12/2023

源 JSON 架构可在 https://azuremlschemas.azureedge.net/latest/schedule.schema.json 中找到。

注意

本文档中详细介绍的 YAML 语法基于最新版本的 ML CLI v2 扩展的 JSON 架构。此语法必定仅适用于最新版本的 ML CLI v2 扩展。可以在 https://azuremlschemasprod.azureedge.net/ 上查找早期扩展版本的架构。

YAML 语法

密钥	类型	说明
`$schema`	字符串	YAML 架构。
`name`	字符串	必需。计划名称。
`description`	string	计划的描述。
`tags`	object	计划的标记字典。
`trigger`	object	用于定义何时触发作业的规则的触发器配置。必须指定 `RecurrenceTrigger` 或 `CronTrigger`。
`import_data`	对象或字符串	必需。计划触发的导入数据操作的定义。必须指定 `string` 或 `ImportDataDefinition`。

触发器配置

重复触发器

密钥	类型	说明	允许的值
`type`	字符串	必需。指定计划类型。	recurrence
`frequency`	字符串	必需。指定描述计划触发频率的时间单位。	`minute`、`hour`、`day`、`week`、`month`
`interval`	整型	必需。指定计划触发的时间间隔。
`start_time`	字符串	使用时区描述开始日期和时间。如果省略 start_time，第一个作业将立即运行，以后的作业根据计划触发，即 start_time 将匹配作业创建时间。如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
`end_time`	字符串	用时区描述结束日期和时间。如果省略 end_time，计划会运行，直到被显式禁用为止。
`timezone`	字符串	指定定期时区。如果省略，则默认为 UTC。	请参阅时区值附录
`pattern`	object	指定定期模式。如果省略模式，根据 start_time、frequency 和 interval 的逻辑触发作业。

定期计划

定期计划定义定期模式，包含 hours、minutes 和 weekdays。

当频率为 day 时，模式可指定 hours 和 minutes。
当频率为 week 和 month 时，模式可指定 hours、minutes 和 weekdays。

密钥	类型	允许的值
`hours`	整数或整数数组	`0-23`
`minutes`	整数或整数数组	`0-59`
`week_days`	字符串或字符串数组	`monday`、`tuesday`、`wednesday`、`thursday`、`friday`、`saturday`、`sunday`

CronTrigger

密钥	类型	说明	允许的值
`type`	字符串	必需。指定计划类型。	cron
`expression`	字符串	必需。指定用于定义如何触发作业的 cron 表达式。表达式使用标准 crontab 表达式来表达定期计划。单个表达式由 5 个空格分隔的字段组成：`MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK`
`start_time`	字符串	使用时区描述开始日期和时间。如果省略 start_time，第一个作业将立即运行，以后的作业根据计划触发，即 start_time 将匹配作业创建时间。如果开始时间是过去的时间，则第一个作业将在下一个计算的运行时间运行。
`end_time`	字符串	用时区描述结束日期和时间。如果省略 end_time，计划会继续运行，直到被显式禁用为止。
`timezone`	字符串	指定定期时区。如果省略，则默认为 UTC。	请参阅时区值附录

导入数据定义（预览版）

重要

此功能目前处于公开预览状态。此预览版在提供时没有附带服务级别协议，我们不建议将其用于生产工作负荷。某些功能可能不受支持或者受限。

有关详细信息，请参阅适用于 Azure 预览版的补充使用条款。

客户可以直接使用import_data: ./<data_import>.yaml，也可以使用以下属性来定义数据导入定义。

密钥	类型	说明	允许的值
`type`	字符串	必需。指定要将数据导入为的数据资产类型。从数据库源导入时，它可以是 mltable，或者从 FileSource 导入时，它可以是 uri_folder。	`mltable`、`uri_folder`
`name`	字符串	必需。要在其中注册导入数据的数据资产名称。
`path`	string	必需。采用导入数据的数据存储的路径，以下两种方式之一指定： - 必需项。数据存储路径的 URI。受支持的 URI 类型仅为`azureml`。有关如何使用 URI 格式的详细信息，请参阅`azureml://`核心 YAML 语法。为了避免过度写入，建议为每个导入使用唯一路径。为此，请参数化路径，如此示例 - `azureml://datastores/<datastore_name>/paths/<source_name>/${{name}}`中所示。示例中的 "datastore_name" 可以是已创建的数据存储，也可以是 workspaceblobstore。或者，可以引用以选择“托管数据存储”（如下所示： `azureml://datastores/workspacemanagedstore`），其中系统会自动分配唯一路径。	Azure 机器学习：//<>
`source`	object	导入的数据源的外部源详细信息。有关源属性的集合，请参阅`source`的属性。

`source`的属性（预览版）

密钥	类型	说明	允许的值
`type`	string	要从中导入数据的外部源的类型。目前只允许以下类型 - `Database`或`FileSystem`	`Database`、`FileSystem`
`query`	string	只有当上面定义的`type`是`database`时，才定义此值类型`Database`（定义或筛选需要导入的数据）的外部源中的查询
`path`	string	仅当上面定义的 `type` 是 `FileSystem` 时，才定义此值类型 `FileSystem`（需要导入的文件或数据所在的位置）的外部源中的文件夹路径。
`connection`	字符串	必需。以`azureml:<connection_name>`格式引用的外部源的连接属性

重要

此功能目前处于公开预览状态。此预览版在提供时没有附带服务级别协议，我们不建议将其用于生产工作负荷。某些功能可能不受支持或者受限。

有关详细信息，请参阅适用于 Azure 预览版的补充使用条款。

备注

az ml schedule 命令可用于管理 Azure 机器学习模型。

示例

示例 GitHub 存储库中提供了示例。以下显示了几个示例。

YAML：使用定期模式计划数据导入

适用于：Azure CLI ml 扩展 v2（当前版本）

YAML：使用定期模式（预览版）计划数据导入

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML：计划与托管数据存储上的定期模式（预览版）内联的数据导入定义

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

YAML：使用 cron 表达式计划数据导入