quality-monitors 命令组

注释

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。

Databricks CLI 的使用须遵守 Databricks 许可Databricks 隐私声明,包括任何数据使用规定。

quality-monitors Databricks CLI 中的命令组包含用于创建、编辑和删除质量监视器的命令。 监视器会随时间推移计算和监视表的数据或模型质量指标。 它生成指标表和仪表板,可用于监视表运行状况并设置警报。

databricks 质量监视器创建

为指定的表创建新的监视器。

调用方必须选择以下之一:

  1. 作为表的父目录的所有者,您需要在表的父架构上拥有 USE_SCHEMA 权限,并在表本身上拥有 SELECT 访问权限。

  2. 在表的父目录上具有 USE_CATALOG,是表的父架构的所有者,并且具有表的 SELECT 访问权限。

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 是表的所有者。

工作区资产(如仪表板)将在进行此调用的工作区中创建。

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

论据

TABLE_NAME

    表的全名。

ASSETS_DIR

    用于存储监视资产的目录(例如仪表板、指标表)。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--skip-builtin-dashboard

    是否跳过创建汇总数据质量指标的默认仪表板。

--warehouse-id string

    用于为创建仪表板指定仓库的可选参数。

全局标志

例子

以下示例为表创建质量监视器:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks 质量监视器删除

删除指定表的监视器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 具有表的父目录中的 USE_CATALOG,并且是表的父架构的所有者

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用。

请注意,指标表和仪表板不会作为此调用的一部分删除;必须手动清理这些资产(如果需要)。

databricks quality-monitors delete TABLE_NAME [flags]

论据

TABLE_NAME

    表的全名。

选项

全局标志

例子

以下示例删除质量监视器:

databricks quality-monitors delete main.my_schema.my_table

databricks 获取质量监视工具

获取指定表的监控器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 在表的父目录中具有USE_CATALOG,并且是表的父架构的所有者。

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 对表的 SELECT 特权。

返回的信息包括配置值,以及监视器创建的资产的相关信息。 如果调用方位于与创建监视器的不同工作区中,某些信息(例如仪表板)可能会被过滤掉。

databricks quality-monitors get TABLE_NAME [flags]

论据

TABLE_NAME

    表的全名。

选项

全局标志

例子

以下示例获取有关质量监视器的信息:

databricks quality-monitors get main.my_schema.my_table

databricks 质量监视器 get-refresh

使用给定的刷新 ID 获取有关特定监视器刷新的信息。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 具有表的父目录中的 USE_CATALOG,并且是表的父架构的所有者

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

论据

TABLE_NAME

    表的全名。

REFRESH_ID

    刷新的 ID。

选项

全局标志

例子

以下示例获取有关特定刷新的信息:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors list-refreshes

列出此表的最新刷新(最多为 25 次)的历史记录。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 具有表的父目录中的 USE_CATALOG,并且是表的父架构的所有者

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors list-refreshes TABLE_NAME [flags]

论据

TABLE_NAME

    表的全名。

选项

全局标志

例子

以下示例列出了用于质量监视器的刷新操作:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks 质量监控器进行刷新

在监视器上为指定表排队刷新指标。 刷新将在后台执行。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 具有表的父目录中的 USE_CATALOG,并且是表的父架构的所有者

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 拥有该表的控制权

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors run-refresh TABLE_NAME [flags]

论据

TABLE_NAME

    表的全名。

选项

全局标志

例子

以下示例将刷新操作排入质量监视器的队列:

databricks quality-monitors run-refresh main.my_schema.my_table

databricks 质量监控器的更新

更新指定表的监视器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者

  2. 具有表的父目录中的 USE_CATALOG,并且是表的父架构的所有者

  3. 具有以下权限:

    • USE_CATALOG 在表的父目录中
    • USE_SCHEMA 数据表的父架构
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用,并且调用方必须是监视器的原始创建者。

某些配置字段(如输出资产标识符)无法更新。

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

论据

TABLE_NAME

    表的全名。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--dashboard-id string

    用于可视化计算指标的仪表板的 ID。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

例子

以下示例更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

以下示例使用新的基线表更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

全局标志

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 textjson。 默认值是 text

-p, --profile 字符串

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如果适用,要使用的捆绑包目标