共用方式為

pipelines 命令组

注释

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。

Databricks CLI 的使用须遵守 Databricks 许可Databricks 隐私声明,包括任何数据使用规定。

pipelines CLI 中的命令组允许创建、编辑、删除、启动和查看有关管道的详细信息。 请参阅 Lakeflow 声明性管道

databricks 管道创建

根据请求的配置创建新的数据处理管道。 如果成功,此命令将返回新管道的 ID。

databricks pipelines create [flags]

论据

没有

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 管道删除

删除管道。

databricks pipelines delete PIPELINE_ID [flags]

论据

PIPELINE_ID

    要删除的管道。

选项

全局标志

databricks 管道获取

获取管道。

databricks pipelines get PIPELINE_ID [flags]

论据

PIPELINE_ID

    要获取的管道。

选项

全局标志

databricks 数据管道获取更新

从活跃流水线获取更新。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

论据

PIPELINE_ID

    管道的 ID。

UPDATE_ID

    更新的 ID。

选项

全局标志

databricks 流水线 list-pipeline-events

检索管道的事件。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

论据

PIPELINE_ID

    检索事件所需的管道。

选项

--filter string

    选择结果子集的条件,使用类似于 SQL 的语法表示。

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

全局标志

databricks 管道 list-pipelines

列出在 Delta Live Tables 系统中定义的管道。

databricks pipelines list-pipelines [flags]

论据

没有

选项

--filter string

    根据指定的条件选择结果子集。

--max-results int

    在单个页面中返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

全局标志

databricks 管道 list-updates

列出活动管道的更新。

databricks pipelines list-updates PIPELINE_ID [flags]

论据

PIPELINE_ID

    要返回更新的管道。

选项

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

--until-update-id string

    如果存在,则返回更新,直到并包括此update_id。

全局标志

databricks 管道启动更新

启动管道的新更新。 如果管道已有活动更新,则请求将失败,并且活动更新将保持运行状态。

databricks pipelines start-update PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其启动更新流程。

选项

--cause StartUpdateCause

    支持的值:[API_CALL、JOB_TASK、RETRY_ON_FAILURE、SCHEMA_CHANGE、SERVICE_UPGRADE、USER_ACTION]

--full-refresh

    如果为 true,此更新将在运行之前重置所有表。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--validate-only

    如果为 true,此更新只会验证管道源代码的正确性,但不会具体化或发布任何数据集。

全局标志

Databricks 流水线停止

通过取消正在进行的更新来停止管道。 如果管道没有活动更新,则此请求是 no-op。

databricks pipelines stop PIPELINE_ID [flags]

论据

PIPELINE_ID

    要停止的管道。

选项

--no-wait

    不要等待进入IDLE(空闲)状态

--timeout duration

    达到空闲状态的最长时间(默认为 20分钟0秒)

全局标志

Databricks 流水线更新

使用提供的配置更新管道。

databricks pipelines update PIPELINE_ID [flags]

论据

PIPELINE_ID

    此管道的唯一标识符。

选项

--allow-duplicate-names

    如果为 false,则如果名称已更改并冲突另一个管道的名称,则部署将失败。

--budget-policy-id string

    此管道的预算政策。

--catalog string

    Unity Catalog 中要将数据从此管道发布到的目录。

--channel string

    DLT 发布通道,指定要使用的版本。

--continuous

    管道是连续运行的还是触发运行的。

--development

    管道是否处于开发模式。

--edition string

    管道产品版本。

--expected-last-modified int

    如果存在,则编辑前管道设置的最后修改时间。

--id string

    此管道的唯一标识符。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--name string

    此管道的友好标识符。

--photon

    是否为此管道启用了 Photon。

--pipeline-id string

    此管道的唯一标识符。

--schema string

    作为表的读取来源或发布目标的默认架构(数据库)。

--serverless

    是否为此管道启用了无服务器计算。

--storage string

    用于存储检查点和表的 DBFS 根目录。

--target string

    要将此管道中的表添加到的目标架构(数据库)。

全局标志

databricks 管道获取权限级别

获取管道权限级别。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

全局标志

databricks 数据流水线 获取权限

获取管道的权限。 管道可以从其根对象继承权限。

databricks pipelines get-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

全局标志

databricks 管道设置权限

设置管道权限。

设置对象的权限,替换现有权限(如果存在)。 如果未指定任何权限,则删除所有直接权限。 对象可以从其根对象继承权限。

databricks pipelines set-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 管道更新权限

更新管道的权限。 管道可以从其根对象继承权限。

databricks pipelines update-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

全局标志

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 textjson。 默认值是 text

-p, --profile 字符串

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如果适用,要使用的捆绑包目标