注释
此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。
Databricks CLI 的使用须遵守 Databricks 许可和 Databricks 隐私声明,包括任何数据使用规定。
quality-monitors
Databricks CLI 中的命令组包含用于创建、编辑和删除质量监视器的命令。 监视器会随时间推移计算和监视表的数据或模型质量指标。 它生成指标表和仪表板,可用于监视表运行状况并设置警报。
databricks 质量监视器创建
为指定的表创建新的监视器。
调用方必须选择以下之一:
作为表的父目录的所有者,您需要在表的父架构上拥有
USE_SCHEMA
权限,并在表本身上拥有SELECT
访问权限。在表的父目录上具有
USE_CATALOG
,是表的父架构的所有者,并且具有表的SELECT
访问权限。具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 是表的所有者。
-
工作区资产(如仪表板)将在进行此调用的工作区中创建。
databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]
论据
TABLE_NAME
表的全名。
ASSETS_DIR
用于存储监视资产的目录(例如仪表板、指标表)。
OUTPUT_SCHEMA_NAME
用于创建输出指标表的架构。
选项
--baseline-table-name string
从中计算偏移指标的基线表的名称。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
--skip-builtin-dashboard
是否跳过创建汇总数据质量指标的默认仪表板。
--warehouse-id string
用于为创建仪表板指定仓库的可选参数。
例子
以下示例为表创建质量监视器:
databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema
databricks 质量监视器删除
删除指定表的监视器。
调用方必须选择以下之一:
是表的父目录的所有者
具有表的父目录中的
USE_CATALOG
,并且是表的父架构的所有者具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 是表的所有者。
-
此外,必须从创建监视器的工作区进行调用。
请注意,指标表和仪表板不会作为此调用的一部分删除;必须手动清理这些资产(如果需要)。
databricks quality-monitors delete TABLE_NAME [flags]
论据
TABLE_NAME
表的全名。
选项
例子
以下示例删除质量监视器:
databricks quality-monitors delete main.my_schema.my_table
databricks 获取质量监视工具
获取指定表的监控器。
调用方必须选择以下之一:
是表的父目录的所有者
在表的父目录中具有
USE_CATALOG
,并且是表的父架构的所有者。具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 对表的
SELECT
特权。
-
返回的信息包括配置值,以及监视器创建的资产的相关信息。 如果调用方位于与创建监视器的不同工作区中,某些信息(例如仪表板)可能会被过滤掉。
databricks quality-monitors get TABLE_NAME [flags]
论据
TABLE_NAME
表的全名。
选项
例子
以下示例获取有关质量监视器的信息:
databricks quality-monitors get main.my_schema.my_table
databricks 质量监视器 get-refresh
使用给定的刷新 ID 获取有关特定监视器刷新的信息。
调用方必须选择以下之一:
是表的父目录的所有者
具有表的父目录中的
USE_CATALOG
,并且是表的父架构的所有者具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 对表的
SELECT
特权。
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]
论据
TABLE_NAME
表的全名。
REFRESH_ID
刷新的 ID。
选项
例子
以下示例获取有关特定刷新的信息:
databricks quality-monitors get-refresh main.my_schema.my_table 12345
databricks quality-monitors list-refreshes
列出此表的最新刷新(最多为 25 次)的历史记录。
调用方必须选择以下之一:
是表的父目录的所有者
具有表的父目录中的
USE_CATALOG
,并且是表的父架构的所有者具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 对表的
SELECT
特权。
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors list-refreshes TABLE_NAME [flags]
论据
TABLE_NAME
表的全名。
选项
例子
以下示例列出了用于质量监视器的刷新操作:
databricks quality-monitors list-refreshes main.my_schema.my_table
databricks 质量监控器进行刷新
在监视器上为指定表排队刷新指标。 刷新将在后台执行。
调用方必须选择以下之一:
是表的父目录的所有者
具有表的父目录中的
USE_CATALOG
,并且是表的父架构的所有者具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 拥有该表的控制权
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors run-refresh TABLE_NAME [flags]
论据
TABLE_NAME
表的全名。
选项
例子
以下示例将刷新操作排入质量监视器的队列:
databricks quality-monitors run-refresh main.my_schema.my_table
databricks 质量监控器的更新
更新指定表的监视器。
调用方必须选择以下之一:
是表的父目录的所有者
具有表的父目录中的
USE_CATALOG
,并且是表的父架构的所有者具有以下权限:
-
USE_CATALOG
在表的父目录中 -
USE_SCHEMA
数据表的父架构 - 是表的所有者。
-
此外,必须从创建监视器的工作区进行调用,并且调用方必须是监视器的原始创建者。
某些配置字段(如输出资产标识符)无法更新。
databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]
论据
TABLE_NAME
表的全名。
OUTPUT_SCHEMA_NAME
用于创建输出指标表的架构。
选项
--baseline-table-name string
从中计算偏移指标的基线表的名称。
--dashboard-id string
用于可视化计算指标的仪表板的 ID。
--json JSON
内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。
例子
以下示例更新质量监视器:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema
以下示例使用新的基线表更新质量监视器:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline
全局标志
--debug
是否启用调试日志记录。
-h
或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file
字符串
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format
格式
日志格式类型,text
或 json
。 默认值是 text
。
--log-level
字符串
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output
类型
命令输出类型为 text
或 json
。 默认值是 text
。
-p, --profile
字符串
要用于运行命令的 ~/.databrickscfg
文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT
的配置文件,则使用该配置文件。
--progress-format
格式
显示进度日志的格式: default
、 append
、 inplace
或 json
-t, --target
字符串
如果适用,要使用的捆绑包目标