serving-endpoints 命令组

注释

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。

Databricks CLI 的使用须遵守 Databricks 许可Databricks 隐私声明,包括任何数据使用规定。

serving-endpoints CLI 中的命令组允许创建、更新和删除服务终结点的模型。 请参阅管理模型服务的端点

databricks 模型服务端点 构建日志

检索与所提供的服务模型关联的生成日志。

databricks serving-endpoints build-logs NAME SERVED_MODEL_NAME [flags]

论据

NAME

    服务模型所属的服务终结点的名称。 此字段为必需字段。

SERVED_MODEL_NAME

    将为其检索构建日志的已服务模型的名称。 此字段为必需字段。

选项

全局标志

databricks 服务终结点创建

创建新的服务终结点。

databricks serving-endpoints create NAME [flags]

论据

NAME

    服务终结点的名称。 此字段是必需的,并且必须在 Databricks 工作区中是唯一的。 终结点名称可以包含字母数字字符、短划线和下划线。

选项

--budget-policy-id string

    要应用于服务端点的预算策略。

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--no-wait

    不要等待到达NOT_UPDATING状态

--route-optimized

    为服务终结点启用路由优化。

--timeout duration

    达到NOT_UPDATING状态的最大时间(默认为 20m0s)

全局标志

databricks 服务终结点删除

删除服务终结点。

databricks serving-endpoints delete NAME [flags]

论据

NAME

    要删除的服务终结点的名称。

选项

全局标志

databricks 服务终结点导出指标

使用 Prometheus 或 OpenMetrics 解释格式检索与提供的服务终结点关联的指标。

databricks serving-endpoints export-metrics NAME [flags]

论据

NAME

    用于检索指标的服务终结点名称。 此字段为必需字段。

选项

全局标志

databricks 服务终结点获取

检索单个服务终结点的详细信息。

databricks serving-endpoints get NAME [flags]

论据

NAME

    服务终结点的名称。 此字段为必需字段。

选项

全局标志

databricks 服务端点 get-open-api

获取服务终结点的查询架构,格式为 OpenAPI。 该架构包含支持的路径、输入和输出格式和数据类型的信息。

databricks serving-endpoints get-open-api NAME [flags]

论据

NAME

    服务模型所属的服务终结点的名称。 此字段为必需字段。

选项

全局标志

databricks 服务端点列表

获取所有服务终结点。

databricks serving-endpoints list [flags]

论据

没有

选项

全局标志

databricks 服务端点日志

检索与所提供的服务模型关联的服务日志。

databricks serving-endpoints logs NAME SERVED_MODEL_NAME [flags]

论据

NAME

    服务模型所属的服务终结点的名称。 此字段为必需字段。

SERVED_MODEL_NAME

    将为其检索日志的提供服务的模型的名称。 此字段为必需字段。

选项

全局标志

databricks 服务端点补丁

添加或删除服务终结点的标记。

databricks serving-endpoints patch NAME [flags]

论据

NAME

    要修补标记的服务终结点的名称。 此字段为必需字段。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 服务终结点设置

服务终结点的更新速率限制。

注释

已弃用:请改用 AI 网关来管理速率限制。

databricks serving-endpoints put NAME [flags]

论据

NAME

    正在更新速率限制的服务终结点的名称。 此字段为必需字段。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 服务端点 put-ai-gateway

更新用于服务端点的 AI 网关。 完全支持外部模型、预配吞吐量和按令牌付费终结点;代理终结点目前仅支持推理表。

databricks serving-endpoints put-ai-gateway NAME [flags]

论据

NAME

    正在更新其 AI 网关的服务终结点的名称。 此字段为必需字段。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 服务端点查询

查询服务端点。

databricks serving-endpoints query NAME [flags]

论据

NAME

    服务终结点的名称。 此字段为必需字段。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--max-tokens int

    仅用于 完成操作外部聊天及基础模型 服务端点的最大令牌字段。

--n int

    n(候选项数)字段仅用于 补全任务聊天外部及基础模型业务终端

--stream

    流字段仅用于 完成聊天外部和基础模型 服务终结点。

--temperature float

    仅用于 完成聊天外部和基础模型 服务终结点的温度字段。

全局标志

databricks 服务端点更新配置

更新服务终结点的服务实体、这些服务实体的计算配置和终结点的流量配置的任何组合。在当前更新完成或失败之前,无法更新已有更新的终结点。

databricks serving-endpoints update-config NAME [flags]

论据

NAME

    要更新的服务终结点的名称。 此字段为必需字段。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

--no-wait

    不要等待到达NOT_UPDATING状态

--timeout duration

    达到NOT_UPDATING状态的最大时间(默认为 20m0s)

全局标志

databricks 服务终结点 get-permission-levels

获取服务端点权限级别。

databricks serving-endpoints get-permission-levels SERVING_ENDPOINT_ID [flags]

论据

SERVING_ENDPOINT_ID

    要为其获取或管理权限的服务端点。

选项

全局标志

databricks 服务端点 获取权限

获取服务终结点权限。

获取服务端点的权限。 服务终结点可以从其根对象继承权限。

databricks serving-endpoints get-permissions SERVING_ENDPOINT_ID [flags]

论据

SERVING_ENDPOINT_ID

    要为其获取或管理权限的服务端点。

选项

全局标志

databricks service-endpoints set-permissions

设置服务终结点权限。

databricks serving-endpoints set-permissions SERVING_ENDPOINT_ID [flags]

论据

SERVING_ENDPOINT_ID

    要为其获取或管理权限的服务端点。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

databricks 服务端点更新权限

更新服务终结点的权限。 服务终结点可以从其根对象继承权限。

databricks serving-endpoints update-permissions SERVING_ENDPOINT_ID [flags]

论据

SERVING_ENDPOINT_ID

    要为其获取或管理权限的服务端点。

选项

--json JSON

    内联 JSON 字符串或包含请求正文的 JSON 文件中的 @path。

全局标志

全局标志

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 textjson。 默认值是 text

-p, --profile 字符串

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如果适用,要使用的捆绑包目标