pipelines 命令组

pipelines CLI 中的命令组允许创建、编辑、删除、启动和查看有关管道的详细信息。 请参阅 Lakeflow 声明性管道。

databricks 管道创建

根据请求的配置创建新的数据处理管道。 如果成功，此命令将返回新管道的 ID。

databricks pipelines create [flags]

论据

没有

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 管道删除

删除管道。

databricks pipelines delete PIPELINE_ID [flags]

论据

PIPELINE_ID

    要删除的管道。

选项

全局标志

databricks 管道获取

获取管道。

databricks pipelines get PIPELINE_ID [flags]

论据

PIPELINE_ID

    要获取的管道。

选项

全局标志

databricks 数据管道获取更新

从活跃流水线获取更新。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

论据

PIPELINE_ID

    管道的 ID。

UPDATE_ID

    更新的 ID。

选项

全局标志

databricks 流水线 list-pipeline-events

检索管道的事件。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

论据

PIPELINE_ID

    检索事件所需的管道。

选项

--filter string

    选择结果子集的条件，使用类似于 SQL 的语法表示。

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

全局标志

databricks 管道 list-pipelines

列出在 Delta Live Tables 系统中定义的管道。

databricks pipelines list-pipelines [flags]

论据

没有

选项

--filter string

    根据指定的条件选择结果子集。

--max-results int

    在单个页面中返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

全局标志

databricks 管道 list-updates

列出活动管道的更新。

databricks pipelines list-updates PIPELINE_ID [flags]

论据

PIPELINE_ID

    要返回更新的管道。

选项

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

--until-update-id string

    如果存在，则返回更新，直到并包括此update_id。

全局标志

databricks 管道启动更新

启动管道的新更新。 如果管道已有活动更新，则请求将失败，并且活动更新将保持运行状态。

databricks pipelines start-update PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其启动更新流程。

选项

--cause StartUpdateCause

    支持的值：[API_CALL、JOB_TASK、RETRY_ON_FAILURE、SCHEMA_CHANGE、SERVICE_UPGRADE、USER_ACTION]

--full-refresh

    如果为 true，此更新将在运行之前重置所有表。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--validate-only

    如果为 true，此更新只会验证管道源代码的正确性，但不会具体化或发布任何数据集。

全局标志

Databricks 流水线停止

通过取消正在进行的更新来停止管道。 如果管道没有活动更新，则此请求是 no-op。

databricks pipelines stop PIPELINE_ID [flags]

论据

PIPELINE_ID

    要停止的管道。

选项

--no-wait

    不要等待进入IDLE（空闲）状态

--timeout duration

    达到空闲状态的最长时间（默认为 20分钟0秒）

全局标志

Databricks 流水线更新

使用提供的配置更新管道。

databricks pipelines update PIPELINE_ID [flags]

论据

PIPELINE_ID

    此管道的唯一标识符。

选项

--allow-duplicate-names

    如果为 false，则如果名称已更改并冲突另一个管道的名称，则部署将失败。

--budget-policy-id string

    此管道的预算政策。

--catalog string

    Unity Catalog 中要将数据从此管道发布到的目录。

--channel string

    DLT 发布通道，指定要使用的版本。

--continuous

    管道是连续运行的还是触发运行的。

--development

    管道是否处于开发模式。

--edition string

    管道产品版本。

--expected-last-modified int

    如果存在，则编辑前管道设置的最后修改时间。

--id string

    此管道的唯一标识符。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--name string

    此管道的友好标识符。

--photon

    是否为此管道启用了 Photon。

--pipeline-id string

    此管道的唯一标识符。

--schema string

    作为表的读取来源或发布目标的默认架构（数据库）。

--serverless

    是否为此管道启用了无服务器计算。

--storage string

    用于存储检查点和表的 DBFS 根目录。

--target string

    要将此管道中的表添加到的目标架构（数据库）。

全局标志

databricks 管道获取权限级别

获取管道权限级别。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

全局标志

databricks 数据流水线 获取权限

获取管道的权限。 管道可以从其根对象继承权限。

databricks pipelines get-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

全局标志

databricks 管道设置权限

设置管道权限。

设置对象的权限，替换现有权限（如果存在）。 如果未指定任何权限，则删除所有直接权限。 对象可以从其根对象继承权限。

databricks pipelines set-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 管道更新权限

更新管道的权限。 管道可以从其根对象继承权限。

databricks pipelines update-permissions PIPELINE_ID [flags]

论据

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

全局标志

--debug

  是否启用调试日志记录。

-h 或 --help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串，表示要将输出日志写入到的文件。 如果未指定此标志，则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型，text 或 json。 默认值是 text。

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定，则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 text 或 json。 默认值是 text。

-p, --profile 字符串

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志，并且存在命名为 DEFAULT 的配置文件，则使用该配置文件。

--progress-format 格式

    显示进度日志的格式： default、 append、 inplace或 json

-t, --target 字符串

    如果适用，要使用的捆绑包目标