注释
此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。
Databricks CLI 的使用须遵守 Databricks 许可和 Databricks 隐私声明,包括任何数据使用规定。
experiments
CLI 中的命令组允许在 MLflow 中创建、编辑、删除和管理试验。 请参阅使用 MLflow 试验组织训练运行。
databricks 实验 create-experiment
创建具有名称的试验。 返回新创建的试验的 ID。 验证同名的另一个试验尚不存在,如果存在同名的另一个试验,则失败。
如果存在具有给定名称的试验,则抛出 RESOURCE_ALREADY_EXISTS
异常。
databricks experiments create-experiment NAME [flags]
论据
NAME
试验名称。
选项
--artifact-location string
存储实验相关工件的位置。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 实验创建运行
在试验中创建新的运行。 运行通常指的是一次机器学习或数据ETL管道的单次执行。 MLflow 使用运行来记录与单次执行相关的 mlflowParam、mlflowMetric 和 mlflowRunTag。
databricks experiments create-run [flags]
论据
没有
选项
--experiment-id string
关联的试验的 ID。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件
--run-name string
运行的名称。
--start-time int
启动运行时的 Unix 时间戳(以毫秒为单位)。
--user-id string
运行用户的 ID。
databricks 实验 delete-experiment
标记试验和关联的元数据、运行、指标、参数和标签以供删除。 如果试验使用 FileStore,也会删除与试验关联的项目。
databricks experiments delete-experiment EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
关联的试验的 ID。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件
databricks 实验 删除运行
标记要删除的运行。
databricks experiments delete-run RUN_ID [flags]
论据
RUN_ID
要删除的运行的 ID。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件
databricks 实验 删除运行
批量删除在指定时间戳之前或之前创建的试验中运行。 删除每个请求最多max_runs。 若要从 Python 中的 Databricks Notebook 调用此 API,可以在 上使用客户端代码片段
databricks experiments delete-runs EXPERIMENT_ID MAX_TIMESTAMP_MILLIS [flags]
论据
EXPERIMENT_ID
包含要删除的运行的试验的 ID。
MAX_TIMESTAMP_MILLIS
用于删除运行的自 UNIX 纪元以来的最大创建时间戳(以毫秒为单位)。 仅删除在此时间戳或之前创建的运行。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件
--max-runs int
一个可选的正整数,指示要删除的最大运行数。
databricks 实验 delete-tag
在运行过程中删除标签。 标记是可在运行期间和运行完成后更新的运行元数据。
databricks experiments delete-tag RUN_ID KEY [flags]
论据
RUN_ID
标记记录所归属的运行 ID。 必填。
KEY
标记的名称。 最大大小为 255 字节。 必填。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件
databricks 试验按名称获取
获取具有指定名称的实验的元数据。
此命令将返回已删除的试验,但如果活动试验和已删除的试验共享相同的名称,则首选活动试验。 如果多个已删除的试验具有相同的名称,API 将返回其中一个。
如果不存在具有指定名称的试验,则 RESOURCE_DOES_NOT_EXIST
引发。
databricks experiments get-by-name EXPERIMENT_NAME [flags]
论据
EXPERIMENT_NAME
关联的试验的名称。
选项
databricks 实验 get-experiment
获取指定 ID 的实验的元数据。 此命令适用于已删除的试验。
databricks experiments get-experiment EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
关联的试验的 ID。
选项
databricks 实验 获取历史
获取给定运行的指定指标的所有值的列表。
databricks experiments get-history METRIC_KEY [flags]
论据
METRIC_KEY
指标的名称。
选项
--max-results int
每个分页请求返回的最大指标记录数。
--page-token string
指示要提取的指标历史记录页的令牌。
--run-id string
要提取指标值的运行 ID。
--run-uuid string
已弃用,请改用 --run_id
。 要提取指标值的运行 ID。
Databricks 实验获取运行
获取某次运行的元数据、指标、参数和标签。 如果为运行记录了具有相同密钥的多个指标,则仅返回具有最新时间戳的值。
如果有多个具有最新时间戳的值,则返回这些值的最大值。
databricks experiments get-run RUN_ID [flags]
论据
RUN_ID
要获取的运行 ID。 必须提供。
选项
--run-uuid string
已弃用,请改用 --run_id
。 要获取的运行 ID。
databricks 试验列表项目
列出运行的工件。 采用可选的artifact_path前缀(如果指定),响应仅包含具有指定前缀的项目。 对于 Unity Catalog 卷,最多可以检索 1000 个工件。 使用 databricks fs ls 列出 Unity Catalog 卷中的工件,支持分页功能。
databricks experiments list-artifacts [flags]
论据
没有
选项
--page-token string
指示要提取的项目结果页的标记。
--path string
筛选匹配此路径的项目(根项目目录中的相对路径)。
--run-id string
要列出其项目的运行 ID。
--run-uuid string
已弃用,请改用 --run_id
。 要列出其项目的运行 ID。
databricks 试验列表-试验
获取所有试验的列表。
databricks experiments list-experiments [flags]
论据
没有
选项
--max-results int
所需的最大试验数。
--page-token string
指示要提取的试验页的标记。
--view-type ViewType
返回试验类型的限定符。 支持的值:ACTIVE_ONLY
、ALL
、DELETED_ONLY
databricks 实验日志批处理
为一次运行记录一批指标、参数和标记。 如果任何数据未能持久保存,服务器将响应错误(非 200 状态代码)。 有关覆盖行为和请求限制,请参阅 试验。
databricks experiments log-batch [flags]
论据
没有
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--run-id string
要登录的运行 ID。
databricks 试验日志输入
注释
此命令是实验性的。
将输入(如数据集和模型)记录到一个 MLflow 运行中。
databricks experiments log-inputs RUN_ID [flags]
论据
RUN_ID
要登录的运行 ID
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 试验日志指标
记录运行的指标。 指标是具有关联时间戳的键值对(字符串键、浮点值)。 示例包括表示 ML 模型准确性的各种指标。 可以多次记录指标。
databricks experiments log-metric KEY VALUE TIMESTAMP [flags]
论据
KEY
指标的名称。
VALUE
要记录的指标的双精度值。
TIMESTAMP
记录指标时 Unix 时间戳(以毫秒为单位)。
选项
--dataset-digest string
与指标关联的数据集的数据集摘要,例如
--dataset-name string
与指标关联的数据集的名称。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--model-id string
与指标关联的已记录模型的 ID(如果适用)。
--run-id string
要记录指标的运行 ID。
--run-uuid string
已弃用,请改用 --run_id
。 要记录指标的运行 ID。
--step int
记录指标的步骤。
databricks 试验日志模型
记录模型信息。
注释
此命令是实验性的。
databricks experiments log-model [flags]
论据
没有
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--model-json string
JSON 格式的 MLmodel 文件。
--run-id string
要登录的运行 ID。
databricks 试验日志参数
记录用于运行的参数。 参数是键值对(字符串键、字符串值)。 示例包括用于 ML 模型训练的超参数以及 ETL 管道中使用的常量日期和值。 一项运行只能记录一次参数。
databricks experiments log-param KEY VALUE [flags]
论据
KEY
参数的名称。 最大大小为 255 字节。
VALUE
要记录的参数的字符串值。 最大大小为 500 字节。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--run-id string
用于记录参数的运行 ID。
--run-uuid string
[已弃用,请改用 run_id] 记录参数所使用的运行 ID。
databricks 实验 恢复实验
恢复被标记为删除的实验。 这还会还原关联的元数据、运行、指标、参数和标记。 如果试验使用 FileStore,那么与试验相关联的底层工件也会被还原。
如果试验从未创建或已被永久删除,则引发RESOURCE_DOES_NOT_EXIST
异常。
databricks experiments restore-experiment EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
关联的试验的 ID。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 实验恢复运行
还原已删除的运行。 这还会还原关联的元数据、运行、指标、参数和标记。
如果程序从未创建或已永久删除运行,则将引发RESOURCE_DOES_NOT_EXIST
。
databricks experiments restore-run RUN_ID [flags]
论据
RUN_ID
要还原的运行 ID。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 实验恢复运行
在未早于指定时间戳删除的试验中运行批量还原操作。 每个请求最多 max_runs
还原一次。
databricks experiments restore-runs EXPERIMENT_ID MIN_TIMESTAMP_MILLIS [flags]
论据
EXPERIMENT_ID
实验的 ID,包含要还原的任务。
MIN_TIMESTAMP_MILLIS
自 UNIX 纪元以来用于还原运行的最小删除时间戳(以毫秒为单位)。 仅还原未早于此时间戳删除的运行。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--max-runs int
一个可选的正整数,用于指示要还原的最大运行次数。
databricks 实验搜索功能实验
搜索满足指定搜索条件的实验。
databricks experiments search-experiments [flags]
论据
没有
选项
--filter string
表示 SQL 筛选器条件的字符串
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--max-results int
所需的最大试验数。
--page-token string
指示要提取的试验页的标记。
--view-type ViewType
返回试验类型的限定符。 支持的值:ACTIVE_ONLY
、ALL
、DELETED_ONLY
databricks 试验搜索运行
搜索满足表达式的运行实例。 搜索表达式可以使用 mlflowMetric 和 mlflowParam 键。
databricks experiments search-runs [flags]
论据
没有
选项
--filter string
一个基于参数、指标和标签的过滤表达式,该表达式允许返回部分运行实例。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--max-results int
所需的最大运行数。
--page-token string
当前页面进程的令牌。
--run-view-type ViewType
是显示仅激活的、仅已删除的,还是所有运行。 支持的值:ACTIVE_ONLY
、ALL
、DELETED_ONLY
databricks 实验 set-experiment-tag
设置实验的标签。 试验标记是可以更新的元数据。
databricks experiments set-experiment-tag EXPERIMENT_ID KEY VALUE [flags]
论据
EXPERIMENT_ID
用于记录标记的实验的 ID。 必须提供。
KEY
标记的名称。 支持最大大小为 250 字节的键。
VALUE
要记录的标签的字符串值。 支持最大大小为 64KB 的值。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 实验设置标签
在运行时设置标记。 标记是可在运行期间和运行完成后更新的运行元数据。
databricks experiments set-tag KEY VALUE [flags]
论据
KEY
标记的名称。 支持最大大小为 250 字节的键。
VALUE
要记录的标签的字符串值。 支持最大大小为 64KB 的值。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--run-id string
要记录标记的运行 ID。
--run-uuid string
已弃用,请改用 --run_id
。 要记录标记的运行 ID。
Databricks 实验 update-experiment
更新实验。
databricks experiments update-experiment EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
关联的试验的 ID。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--new-name string
如果有提供,实验名称将被更改为新的名称。
databricks 试验更新-运行
更新运行。
databricks experiments update-run [flags]
论据
没有
选项
--end-time int
运行结束时的 Unix 时间戳(以毫秒为单位)。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--run-id string
要更新的运行的 ID。
--run-name string
更新了运行的名称。
--run-uuid string
已弃用,请改用 --run_id
。 要更新的运行的 ID。
--status UpdateRunStatus
已更新运行状态。 支持的值:FAILED
、FINISHED
、KILLED
、RUNNING
、SCHEDULED
databricks 实验 获取权限级别
获取实验权限级别。
databricks experiments get-permission-levels EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
要为其获取或管理权限的实验。
选项
databricks 试验获取权限
获取试验的权限。 试验可以从其根对象继承权限。
databricks experiments get-permissions EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
要为其获取或管理权限的实验。
选项
databricks 试验设置权限
设置试验权限。
设置对象的权限,替换现有权限(如果存在)。 如果未指定任何权限,则删除所有直接权限。 对象可以从其根对象继承权限。
databricks experiments set-permissions EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
要为其获取或管理权限的实验。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
databricks 实验功能的更新权限
更新试验权限。 试验可以从其根对象继承权限。
databricks experiments update-permissions EXPERIMENT_ID [flags]
论据
EXPERIMENT_ID
要为其获取或管理权限的实验。
选项
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
全局标志
--debug
是否启用调试日志记录。
-h
或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file
字符串
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format
格式
日志格式类型,text
或 json
。 默认值是 text
。
--log-level
字符串
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output
类型
命令输出类型为 text
或 json
。 默认值是 text
。
-p, --profile
字符串
要用于运行命令的 ~/.databrickscfg
文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT
的配置文件,则使用该配置文件。
--progress-format
格式
显示进度日志的格式: default
、 append
、 inplace
或 json
-t, --target
字符串
如果适用,要使用的捆绑包目标