计算系统表参考

本文提供了计算系统表的参考指南。 可以使用这些表监视帐户中经典通用计算、作业计算和 Lakeflow Spark 声明性管道计算的活动和指标。 这些经典计算表包括：

• clusters：记录您帐户中的计算配置。
• node_types：包括每个当前可用节点类型的单个记录，包括硬件信息。
• node_timeline：包括计算利用率指标的逐分钟记录。
• instance_events：捕获经典计算实例的状态转换。
• instance_pools：记录帐户中的实例池配置。

群集表架构

群集表是一个变化缓慢的维度表，其中包含各种用途计算、作业计算、Lakeflow Spark 声明性管道计算和管道维护计算的计算配置的完整历史记录。

表路径：此系统表位于 system.compute.clusters

访问模式参考

下表翻译了 data_security_mode 列中可能的值。 该列也可以 null 用于某些管道和系统创建的群集。

旧访问模式使用以下值进行记录：

节点类型表架构

节点类型表通过基本硬件信息捕获当前可用的节点类型。

表路径：此系统表位于 system.compute.node_types.

节点时间线表架构

节点时间线表以分钟粒度捕获节点级资源利用率数据。 每个记录包含每个实例在给定分钟内的数据。 此表记录您帐户中通用计算、作业计算、Lakeflow Spark 声明性管道计算和管道维护计算资源的节点时间线。

表路径：此系统表位于 system.compute.node_timeline.

实例事件表架构

实例事件表捕获经典计算实例的状态转换。 每一行表示单个实例的状态更改。 此表包括用于全用途计算、作业计算和 Lakeflow Spark 声明性管道计算的记录，这些管道来自在同一云区域中部署的帐户中的所有工作区。

表路径：此系统表位于 system.compute.instance_events.

实例状态

• INSTANCE_LAUNCHING：正在初始化实例。
• INSTANCE_READY：实例已完全初始化并可供使用，但当前未使用。
• INSTANCE_PLACED：实例当前正在使用（已加入群集）。
• INSTANCE_TERMINATED：实例已终止。

何时填充cluster_id？

cluster_id仅当实例处于INSTANCE_PLACED状态时，才会填充该字段。 对于所有其他州（INSTANCE_LAUNCHING，，INSTANCE_READYINSTANCE_TERMINATED），cluster_id是null。 此行为对于共用实例和非共用实例都是一致的。

该 instance_events 表仅包括用于全用途的放置事件、作业和 Lakeflow Spark 声明性管道计算。 此表中不包括其他工作负荷（如 SQL 仓库）的放置事件。

实例池表架构

实例池表是一个变化缓慢的维度表，其中包含一段时间内实例池配置的完整历史记录。 配置发生更改时，会发出新行，以逻辑方式替换上一行。

表路径：此系统表位于 system.compute.instance_pools.

已知的限制

• 在 2023 年 10 月 23 日之前标记为已删除的计算资源不会显示在群集表中。 这可能会导致 system.billing.usage 表中的联接与群集表中的记录不匹配。 所有活动的计算资源都已回填。
• 这些表仅包含通用和作业计算的记录。 它们不包含无服务器计算或 SQL 仓库的记录。
• 运行不到 10 分钟的节点可能不会显示在 node_timeline 表中。

示例查询

可以使用以下示例查询来回答常见问题：

• 将群集记录与最新的计费记录联接
• 确定平均利用率和峰值利用率最高的计算资源
• 获取每个实例池的最新版本
• 计算实例空闲和活动时间

将群集记录与最新的计费记录联接

此查询可帮助你了解一段时间内的支出。 将 usage_start_time 更新到最新的计费周期后，它会获取对计费记录的最新更新，以加入群集数据。

在特定的运行期间，每个记录都与群集所有者相关联。 因此，如果群集所有者发生更改，成本将根据群集的使用时间准确归属于正确的所有者。

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

确定平均利用率和峰值利用率最高的计算资源

确定具有最高的平均 CPU 利用率和最高的峰值 CPU 利用率的通用和作业计算。

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

获取每个实例池的最新版本

表 instance_pools 是 SCD2 类型，每次进行更改时都会创建新记录，而不是更新现有记录。 若要获取最新版本，请获取具有最大 change_time版本的条目。

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

计算实例空闲和活动时间

此查询使用表的状态转换 instance_events 计算每个实例的总空闲时间和活动时间。

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;