閱讀英文

共用方式為

使用标签归因并跟踪使用情况

本文介绍如何使用标记将计算使用情况归因于特定工作区、团队、项目或用户以支持成本跟踪和预算。

有两种类型的标记:

  • 默认标记:Databricks 自动应用于云部署的资源。 这些元数据提供供应商、群集 ID 和创建者等基本元数据。
  • 自定义标记:可添加到计算资源和无服务器工作负荷的用户定义标记。 这些允许精细跟踪、报告和预算。

警告

标记数据可以全局复制。 请勿使用可能损害资源安全性的标记名称或值。 例如,不要使用包含个人信息或敏感信息的标记名称。

默认标记

Azure Databricks 会自动将默认标记添加到它在云帐户中部署的计算资源。 这些标记将使用情况归因于 Databricks,并提供有关资源的基本信息,例如其名称、ID 和创建者。

默认标记会自动传播到可在 Azure 门户中访问的详细 成本分析报表

以下是 Azure 门户中的成本分析发票详细信息报表,该报表通过 clusterid 标记详细记录了一个月的成本:

按群集 ID 进行成本分析

默认标记键和值

Azure Databricks 将以下默认标记添加到计算资源:

标记键
Vendor 常量值:Databricks
ClusterId 群集的 Azure Databricks 内部 ID
ClusterName 群集的名称
Creator 创建群集的用户的用户名(电子邮件地址)
RunName 作业名称(仅在作业计算中传播)
JobId 作业 ID (仅传播于作业计算环境中)

Lakehouse 监控中的计算使用包括以下附加标记:

标记键
LakehouseMonitoring
LakehouseMonitoringTableId 被监视表的 ID
LakehouseMonitoringWorkspaceId 创建监视器的工作区的 ID
LakehouseMonitoringMetastoreId 被监视表所在元存储的 ID

Azure Databricks 将以下默认标记添加到池和池创建的计算资源。

标记键
Vendor 常量值:Databricks
DatabricksInstancePoolCreatorId 创建池的用户的 Azure Databricks 内部 ID
DatabricksInstancePoolId 池的 Azure Databricks 内部 ID

自定义标记

使用自定义标记,可以将计算使用情况归咎于特定团队、项目或成本中心,其粒度比默认标记更精细。 这些标记由用户或管理员应用,并传播到帐户的使用日志和适用的云资源。 这些标记还用于在 Azure Databricks 帐户中创建和监视预算。

适用于自定义标签的支持资源

物体 标记界面 (UI) 标记界面 (API)
工作区 Azure 门户 Azure 资源 API
Azure Databricks 工作区中的池 UI 实例池 API
通用计算和作业计算 Azure Databricks 工作区中的计算 UI 群集 API
SQL 仓库 Azure Databricks 工作区中的 SQL 仓库 UI 仓库 API

自定义标签在 GCE 日志中以小写形式显示。 如果字符不是字母、数字、下划线或短划线,则会删除字符。 例如, My Key 变为 mykeyMy.Val 变为 myval

警告

请勿向群集分配带有键 Name 的自定义标记。 每个群集都有一个标记 Name,其值由 Azure Databricks 设置。 如果更改与键 Name 关联的值,则 Azure Databricks 不会再跟踪该群集。 因此,群集可能不会在变为空闲后终止,并且将继续产生使用成本。

标记传播

工作区、池和群集标记由 Azure Databricks 聚合并传播到 Azure VM,用于成本分析报表。 但池和群集标记的传播方式彼此不同。

工作区和池标记进行聚合并分配为托管池的 Azure VM 的资源标记。

工作区和群集标记进行聚合并分配为托管群集的 Azure VM 的资源标记。

从池中创建群集时,只会将工作区标记和池标记传播到 VM。 不传播群集标记,以保持池群集启动性能。

标记冲突解决

如果自定义群集标记、池标记或工作区标记与 Azure Databricks 默认群集或池标记具有相同的名称,则该自定义标记在传播时将以 x_ 作为前缀。

例如,如果工作区标记有 vendor = Azure Databricks,则该标记将与默认的群集标记 vendor = Databricks 冲突。 因此,标记将作为 x_vendor = Azure Databricksvendor = Databricks 传播。

警告

通过计算策略添加的自定义标记冲突无法解决,导致群集或池失败并出现无效设置错误。 确保计算策略不会添加任何冲突的标记名称。

标签执行

若要强制使用特定的自定义标记,可以使用计算策略。 请参阅自定义标记强制实施

限制

  • 在进行任何更改后,自定义工作区标记传播到 Azure Databricks 可能需要长达一个小时的时间。
  • 不能为 Azure 资源分配超过 50 个标记。 如果聚合标记的总计数超过此限制,带 x_ 前缀的标记将按字母顺序计算,超出限制的标记将被忽略。 如果忽略所有带 x_ 前缀的标记,并且一直计数直到超过限制,则剩余的标记将按照字母顺序计算,而超出限制的标记将被忽略。
  • 标记键和值只能包含字母、空格、数字或字符 +-=._:/@。 包含其他字符的标记视作无效。
  • 如果更改标记键名称或值,则这些更改仅在群集重启或池扩展之后才适用。
  • 如果群集的自定义标记与池的自定义标记冲突,则无法创建群集。
  • 新添加的工作区标记不会自动传播到现有计算资源。 若要获取要传播的新标记,请打开计算资源的详细信息页,单击“ 编辑”,然后 确认并重启