Azure Synapse Analytics 监视数据参考

本文包含此服务的所有监视参考信息。

请参阅监视 Azure Synapse Analytics,详细了解可为 Azure Synapse Analytics 收集的数据以及如何使用这些数据。

指标

本部分列出了为此服务自动收集的所有平台指标。

有关指标保留的信息,请参阅 Azure Monitor 指标概述

Microsoft.Synapse/workspaces 支持的指标

下表列出了可用于 Microsoft.Synapse/workspaces 资源类型的指标。

  • 并非所有列都显示了每个表中。
  • 某些列可能超出了页面的查看区域。 选择“展开表”以查看所有可用列。

表标题

  • 类别 - 指标组或分类。
  • 指标 - 在 Azure 门户中显示的指标显示名称。
  • REST API 中的名称 - 在 REST API 中引用的指标名称
  • 单位 - 度量单位。
  • 聚合 - 默认的聚合类型。 有效值:平均值(平均)、最小值(最小值)、最大值(最大值)、总计(总和)、计数。
  • 维度 - 适用于指标的维度
  • 时间粒度 - 对指标采样的间隔 例如,PT1M 表示该指标每分钟采样一次,PT30M 表示每 30 分钟一次,PT1H 表示每小时一次,以此类推。
  • DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息,请参阅在 Azure Monitor 中创建诊断设置
类别 指标 REST API 中的名称 Unit 聚合 维度 时间粒度 DS 导出
内置 SQL 池 已处理的数据(字节)

查询处理的数据量
BuiltinSqlPoolDataProcessedBytes 字节 总计 <无> PT1M
内置 SQL 池 登录尝试数

成功或失败的登录尝试计数
BuiltinSqlPoolLoginAttempts 计数 平均值、最小值、最大值、总计 Result PT1M
内置 SQL 池 已结束的请求数

成功、失败或取消的请求计数
BuiltinSqlPoolRequestsEnded 计数 平均值、最小值、最大值、总计 Result PT1M
集成 已结束活动运行数

成功、失败或取消的集成活动计数
IntegrationActivityRunsEnded 计数 计数、总计 Result, FailureType, Activity, ActivityType, Pipeline PT1M、PT1H
集成 链接连接事件数

Synapse Link 连接事件(包括启动、停止和失败)的数量。
IntegrationLinkConnectionEvents 计数 总计 EventType, LinkConnectionName PT1M
集成 链接已处理行数

Synapse Link 处理的已更改行计数。
IntegrationLinkProcessedChangedRows 计数 总计 TableName, LinkConnectionName PT1M
集成 链接已处理的数据量(字节)

Synapse Link 处理的数据量(以字节为单位)。
IntegrationLinkProcessedDataVolume 字节 总计 TableName, LinkTableStatus, LinkConnectionName PT1M
集成 链接延迟(秒)

Synapse Link 数据处理延迟(以秒为单位)。
IntegrationLinkProcessingLatencyInSeconds 计数 最大值、最小值、平均值 LinkConnectionName PT1M
集成 链接表格事件

Synapse Link 表事件(包括快照、删除和失败)的数量。
IntegrationLinkTableEvents 计数 总计 TableName, EventType, LinkConnectionName PT1M
集成 已结束管道运行数

成功、失败或取消的集成管道运行计数
IntegrationPipelineRunsEnded 计数 计数、总计 Result, FailureType, Pipeline PT1M、PT1H
集成 已结束触发器运行数

成功、失败或取消的集成触发器计数
IntegrationTriggerRunsEnded 计数 计数、总计 Result, FailureType, Trigger PT1M、PT1H
流式处理作业 积压的输入事件数(预览)

积压的输入事件源的数量。
SQLStreamingBackloggedInputEventSources 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 数据转换错误数(预览)

无法转换为预期输出架构的输出事件的数量。 可以将错误策略更改为“删除”,以删除遇到此情况的事件。
SQLStreamingConversionErrors 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 输入反序列化错误数(预览)

不可反序列化的输入事件数。
SQLStreamingDeserializationError 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 早期输入事件数(预览)

根据提前到达策略,应用程序时间被视为早于到达时间的输入事件数。
SQLStreamingEarlyInputEvents 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 输入事件数(字节)(预览)

流式处理作业收到的数据量(以字节为单位)。 这可以用于验证正在发送到输入源的事件。
SQLStreamingInputEventBytes 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 输入事件数(预览)

输入事件数。
SQLStreamingInputEvents 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 收到的输入源数(预览)

每秒输入事件源的数量。
SQLStreamingInputEventsSourcesPerSecond 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 延迟输入事件数(预览)

根据延迟到达策略,应用程序时间被视为晚于到达时间的输入事件数。
SQLStreamingLateInputEvents 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 无序事件数(预览)

事件中心输入适配器收到的无序事件中心事件(序列化消息)的数目,系统根据事件排序策略来删除这些事件,或者为其提供一个经过调整的时间戳。
SQLStreamingOutOfOrderEvents 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 输出事件数(预览)

输出事件数。
SQLStreamingOutputEvents 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 水印延迟(预览)

输出水印延迟(秒)。
SQLStreamingOutputWatermarkDelaySeconds 计数 最大值、最小值、平均值 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 以百分比表示的资源利用率(预览)

以百分比表示的资源利用率。 高利用率指示作业使用的资源数接近分配的最大资源数。
SQLStreamingResourceUtilization 百分比 最大值、最小值、平均值 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M
流式处理作业 运行时错误数(预览)

与查询处理相关的错误总数(不包括引入事件或输出结果时发现的错误)。
SQLStreamingRuntimeErrors 计数 总计 SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance PT1M

Azure Synapse Link 向 Azure Monitor 发出以下指标:

指标 聚合类型 说明
Link 连接事件 Sum Synapse Link 连接事件(包括启动、停止和失败)的数量
Link 延迟(以秒为单位) 最大值、最小值、平均值 Synapse Link 数据处理延迟(以秒为单位)
Link 已处理的数据量(字节) Sum Synapse Link 处理的数据量(以字节为单位)
Link 已处理的行 Sum Synapse Link 处理的行计数
Link 表事件 Sum Synapse Link 表事件(包括快照、删除和失败)的数量

Microsoft.Synapse/workspaces/bigDataPools 支持的指标

下表列出了可用于 Microsoft.Synapse/workspaces/bigDataPools 资源类型的指标。

  • 并非所有列都显示了每个表中。
  • 某些列可能超出了页面的查看区域。 选择“展开表”以查看所有可用列。

表标题

  • 类别 - 指标组或分类。
  • 指标 - 在 Azure 门户中显示的指标显示名称。
  • REST API 中的名称 - 在 REST API 中引用的指标名称
  • 单位 - 度量单位。
  • 聚合 - 默认的聚合类型。 有效值:平均值(平均)、最小值(最小值)、最大值(最大值)、总计(总和)、计数。
  • 维度 - 适用于指标的维度
  • 时间粒度 - 对指标采样的间隔 例如,PT1M 表示该指标每分钟采样一次,PT30M 表示每 30 分钟一次,PT1H 表示每小时一次,以此类推。
  • DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息,请参阅在 Azure Monitor 中创建诊断设置
类别 指标 REST API 中的名称 Unit 聚合 维度 时间粒度 DS 导出
Apache Spark 池 分配的 vCore 数

为 Apache Spark 池分配的 Vcore 数
BigDataPoolAllocatedCores 计数 最大值、最小值、平均值、总计 SubmitterId PT1M
Apache Spark 池 分配的内存 (GB)

为 Apach Spark 池分配的内存 (GB)
BigDataPoolAllocatedMemory 计数 最大值、最小值、平均值、总计 SubmitterId PT1M
Apache Spark 池 活动的 Apache Spark 应用程序数

活动 Apache Spark 池应用程序总计
BigDataPoolApplicationsActive 计数 最大值、最小值、平均值 JobState PT1M
Apache Spark 池 已结束的 Apache Spark 应用程序数

已结束的 Apache Spark 池应用程序的计数
BigDataPoolApplicationsEnded 计数 总计 JobType, JobResult PT1M

Microsoft.Synapse/workspaces/sqlPools 支持的指标

下表列出了可用于 Microsoft.Synapse/workspaces/sqlPools 资源类型的指标。

  • 并非所有列都显示了每个表中。
  • 某些列可能超出了页面的查看区域。 选择“展开表”以查看所有可用列。

表标题

  • 类别 - 指标组或分类。
  • 指标 - 在 Azure 门户中显示的指标显示名称。
  • REST API 中的名称 - 在 REST API 中引用的指标名称
  • 单位 - 度量单位。
  • 聚合 - 默认的聚合类型。 有效值:平均值(平均)、最小值(最小值)、最大值(最大值)、总计(总和)、计数。
  • 维度 - 适用于指标的维度
  • 时间粒度 - 对指标采样的间隔 例如,PT1M 表示该指标每分钟采样一次,PT30M 表示每 30 分钟一次,PT1H 表示每小时一次,以此类推。
  • DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息,请参阅在 Azure Monitor 中创建诊断设置
类别 指标 REST API 中的名称 Unit 聚合 维度 时间粒度 DS 导出
SQL 专用池 活动查询数

活动查询数。 如果使用此指标时不进行筛选和拆分,会显示系统上运行的所有活动查询
ActiveQueries 计数 总计 IsUserDefined PT1M
SQL 专用池 自适应缓存命中百分比

度量工作负荷使用自适应缓存的效果。 将此指标与缓存命中百分比指标一起使用,以确定是要扩展以增加容量还是重新运行工作负荷以生成缓存
AdaptiveCacheHitPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 自适应缓存使用百分比

度量工作负荷使用自适应缓存的效果。 将此指标与缓存已用百分比指标一起使用,以确定是要扩展以增加容量还是重新运行工作负荷以生成缓存
AdaptiveCacheUsedPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 连接

SQL 池的总登录数
Connections 计数 总计 Result PT1M
SQL 专用池 防火墙阻止的连接数

防火墙规则阻止的连接计数。 重新访问 SQL 池的访问控制策略,并在计数较高时监视这些连接
ConnectionsBlockedByFirewall 计数 总计 <无> PT1M
SQL 专用池 CPU 使用百分比

SQL 池中所有节点的 CPU 使用率
CPUPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 DWU 限制

SQL 池的服务级别目标
DWULimit 计数 最大值、最小值、平均值 <无> PT1M
SQL 专用池 已用的 DWU

整个 SQL 池中使用情况的高级表示形式。 按“DWU 限制”*“DWU 百分比”来度量
DWUUsed 计数 最大值、最小值、平均值 <无> PT1M
SQL 专用池 DWU 使用百分比

整个 SQL 池中使用情况的高级表示形式。 通过选择 CPU 百分比与数据 IO 百分比这二者中的最大值来度量
DWUUsedPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 本地 tempdb 已用百分比

所有计算节点上的本地 tempdb 利用率 - 每五分钟发出一次值
LocalTempDBUsedPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 已用内存百分比

SQL 池中所有节点的内存使用率
MemoryUsedPercent 百分比 最大值、最小值、平均值 <无> PT1M
SQL 专用池 排队的查询数

达到最大并发限制后排队请求的累计计数
QueuedQueries 计数 总计 IsUserDefined PT1M
SQL 专用池 - 工作负荷管理 工作负荷组活动查询

工作负荷组中的活动查询。 如果使用此指标时不进行筛选和拆分,会显示系统上运行的所有活动查询
WLGActiveQueries 计数 总计 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 工作负荷组查询超时

已超时的工作负荷组查询。只有在查询开始执行查询后,此指标才报告查询超时(不包括由于锁定或资源等待而导致的等待时间)
WLGActiveQueriesTimeouts 计数 总计 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 按最大资源百分比列出的工作负荷组分配

显示每个工作负荷组的相对于“有效上限资源百分比”的资源分配百分比。 此指标提供工作负荷组的有效利用率
WLGAllocationByEffectiveCapResourcePercent 百分比 最大值、最小值、平均值 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 按系统百分比列出的工作负荷组分配

相对于整个系统的资源分配百分比
WLGAllocationBySystemPercent 百分比 最大值、最小值、平均值、总计 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 有效上限资源百分比

工作负荷组的有效上限资源百分比。 如果存在其他 min_percentage_resource > 0 的工作负荷组,effective_cap_percentage_resource 按比例降低
WLGEffectiveCapResourcePercent 百分比 最大值、最小值、平均值 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 有效最小资源百分比

在考虑了服务级别和工作负荷组设置的情况下,允许的有效最小资源百分比设置。 在较低的服务级别可将有效 min_percentage_resource 调整为更高
WLGEffectiveMinResourcePercent 百分比 最小值、最大值、平均值、总计 IsUserDefined, WorkloadGroup PT1M
SQL 专用池 - 工作负荷管理 工作负荷组排队查询

达到最大并发限制后排队请求的累计计数
WLGQueuedQueries 计数 总计 IsUserDefined, WorkloadGroup PT1M

详细信息

  • 专用 SQL 池衡量计算数据仓库单位 (DWU) 的性能。 MemoryUsedPercentCPUPercent 等指标不是显示各个节点的详细信息(例如每个节点的内存或每个节点的 CPU 数量),而是显示一段时间内的总体使用趋势。 这些趋势可帮助管理员了解专用 SQL 池实例的使用情况。 内存或 CPU 占用情况的变化可能会触发诸如纵向扩展或纵向缩减 DWU 或调查可能需要优化的查询等操作。

  • DWUUsed 仅表示 SQL 池中的大致使用情况,而不是综合利用率指标。 若要确定是要纵向扩展还是纵向缩减,请考虑 DWU 可能会影响的所有因素,例如并发性、内存、tempdb 大小和自适应缓存容量。 以不同的 DWU 设置运行工作负荷,以确定哪种设置最适合业务目标。

  • 即使数据仓库处于空闲状态,MemoryUsedPercent 也会反映利用率,而不会反映活动工作负荷内存消耗。 跟踪此指标以及 tempdb 大小和 Gen2 缓存,以确定是否需要缩放更多缓存容量以提高工作负荷性能。

  • 为特定数据仓库(而不是服务器本身)报告失败和成功的连接。

指标维度

有关指标维度定义的信息,请参阅多维指标

此服务具有以下与其指标关联的维度。

Microsoft.Synapse/workspaces

Result, FailureType, Activity, ActivityType, Pipeline, Trigger, EventType, TableName, LinkTableStatus, LinkConnectionName, SQLPoolName, SQLDatabaseName, JobName, LogicalName, PartitionId, ProcessorInstance

使用 IntegrationActivityRunsEndedIntegrationPipelineRunsEndedIntegrationTriggerRunsEndedBuiltinSqlPoolDataRequestsEnded 指标的 Result 维度按 SucceededFailedCanceled 最终状态进行筛选。

Microsoft.Synapse/workspaces/bigDataPools

SubmitterId, JobState, JobType, JobResult

Microsoft.Synapse/workspaces/sqlPools

IsUserDefined, Result

资源日志

本部分列出了可为此服务收集的资源日志类型。 本部分拉取自 Azure Monitor 支持的所有资源日志类别类型列表。

Microsoft.Synapse/workspaces 支持的指标

Category 类别显示名称 日志表 支持基本日志计划 支持引入时间转换 导出成本
BuiltinSqlReqsEnded 已结束的内置 Sql 池请求 SynapseBuiltinSqlPoolRequestsEnded

已结束的 Azure Synapse 内置无服务器 SQL 池请求数。

GatewayApiRequests Synapse 网关 API 请求 SynapseGatewayApiRequests

Azure Synapse 网关 API 请求。

IntegrationActivityRuns 集成活动运行 SynapseIntegrationActivityRuns

Synapse 集成活动运行的日志数。

IntegrationPipelineRuns 集成管道运行 SynapseIntegrationPipelineRuns

Synapse 集成管道运行的日志数。

IntegrationTriggerRuns 集成触发器运行 SynapseIntegrationTriggerRuns

Synapse 集成触发器运行的日志数。

SQLSecurityAuditEvents SQL 安全审核事件 SQLSecurityAuditEvents

Azure Synapse SQL 审核日志。

SynapseLinkEvent Synapse Link 事件 SynapseLinkEvent

有关 Synapse Link 的信息,包括链接状态和链接表状态。

No
SynapseRbacOperations Synapse RBAC 操作 SynapseRbacOperations

Azure Synapse 基于角色的访问控制 (SRBAC) 操作。

注意

SynapseBuiltinSqlPoolRequestsEnded 事件仅针对从存储读取数据的查询发出。 它不会针对仅处理元数据的查询发出。

Microsoft.Synapse/workspaces/bigDataPools 支持的指标

Category 类别显示名称 日志表 支持基本日志计划 支持引入时间转换 导出成本
BigDataPoolAppsEnded 已结束的大数据池应用程序 SynapseBigDataPoolApplicationsEnded

已结束的 Apache Spark 应用程序的相关信息。

Microsoft.Synapse/workspaces/sqlPools 支持的指标

Category 类别显示名称 日志表 支持基本日志计划 支持引入时间转换 导出成本
DmsWorkers Dms 辅助角色 SynapseSqlPoolDmsWorkers

在 Azure Synapse 专用 SQL 池中完成 DMS 步骤的辅助角色的相关信息。

ExecRequests Exec 请求 SynapseSqlPoolExecRequests

Azure Synapse 专用 SQL 池中的 SQL 请求或查询的相关信息。

RequestSteps 请求步骤 SynapseSqlPoolRequestSteps

在 Azure Synapse 专用 SQL 池中编写给定 SQL 请求或查询的请求步骤的相关信息。

SqlRequests Sql 请求 SynapseSqlPoolSqlRequests

Azure Synapse 专用 SQL 池中 SQL 请求/查询步骤的查询分发的相关信息。

SQLSecurityAuditEvents Sql 安全审核事件 SQLSecurityAuditEvents

Azure Synapse SQL 审核日志。

Waits 等待 SynapseSqlPoolWaits

在 Azure Synapse 专用 SQL 池中执行 SQL 请求/查询期间遇到的等待(包括传输队列上的锁和等待)状态的相关信息。

动态管理视图 (DMV)

有关这些日志的详细信息,请查看以下内容:

若要查看适用于 Synapse SQL 的 DMV 列表,请参阅 Synapse SQL 中支持的系统视图

Azure Monitor 日志表

本部分涉及与此服务相关的所有 Azure Monitor 日志表,Log Analytics 可使用 Kusto 查询来查询这些表。

此服务使用以下表来存储资源日志数据。

Synapse 工作区

Microsoft.Synapse/workspaces

  • AzureActivity
  • SynapseRbacOperations
  • SynapseGatewayApiRequests
  • SynapseSqlPoolExecRequests
  • SynapseSqlPoolRequestSteps
  • SynapseSqlPoolDmsWorkers
  • SynapseSqlPoolWaits
  • SynapseSqlPoolSqlRequests
  • SynapseIntegrationPipelineRuns
  • SynapseLinkEvent
  • SynapseIntegrationActivityRuns
  • SynapseIntegrationTriggerRuns
  • SynapseBigDataPoolApplicationsEnded
  • SynapseBuiltinSqlPoolRequestsEnded
  • SQLSecurityAuditEvents
  • SynapseScopePoolScopeJobsEnded
  • SynapseScopePoolScopeJobsStateChange
  • SynapseDXCommand
  • SynapseDXFailedIngestion
  • SynapseDXIngestionBatching
  • SynapseDXQuery
  • SynapseDXSucceededIngestion
  • SynapseDXTableUsageStatistics
  • SynapseDXTableDetails

可用的 Apache Spark 配置

配置名称 默认值 说明
spark.synapse.logAnalytics.enabled false 若要为 Spark 应用程序启用 Log Analytics 接收器,为 true。 否则为 false。
spark.synapse.logAnalytics.workspaceId - 目标 Log Analytics 工作区 ID。
spark.synapse.logAnalytics.secret - 目标 Log Analytics 工作区机密。
spark.synapse.logAnalytics.keyVault.linkedServiceName - Log Analytics 工作区 ID 和密钥的密钥保管库链接服务名称。
spark.synapse.logAnalytics.keyVault.name - Log Analytics ID 和密钥的密钥保管库名称。
spark.synapse.logAnalytics.keyVault.key.workspaceId SparkLogAnalyticsWorkspaceId Log Analytics 工作区 ID 的密钥保管库机密名称。
spark.synapse.logAnalytics.keyVault.key.secret SparkLogAnalyticsSecret Log Analytics 工作区的 Key Vault 机密名称
spark.synapse.logAnalytics.uriSuffix ods.opinsights.azure.com 目标 Log Analytics 工作区的 URI 后缀。 如果工作区不在 Azure 全球中,则需要根据相应的云更新 URI 后缀。
spark.synapse.logAnalytics.filter.eventName.match - 可选。 以逗号分隔的 Spark 事件名称,你可指定要收集的事件。 例如:SparkListenerJobStart,SparkListenerJobEnd
spark.synapse.logAnalytics.filter.loggerName.match - 可选。 以逗号分隔的 log4j 记录器名称,你可指定要收集的日志。 例如:org.apache.spark.SparkContext,org.example.Logger
spark.synapse.logAnalytics.filter.metricName.match - 可选。 以逗号分隔的 Spark 指标名称后缀,你可指定要收集的指标。 例如:jvm.heap.used

注意

  • 对于由世纪互联运营的 Microsoft Azure,参数 spark.synapse.logAnalytics.uriSuffix 应为 ods.opinsights.azure.cn

活动日志

链接表列出了可在此服务的活动日志中记录的操作。 这些操作是活动日志中所有可能的资源提供程序操作的子集。

有关活动日志条目架构的详细信息,请参阅活动日志架构