Azure 数据工厂监视数据参考

本文包含此服务的所有监视参考信息。

请参阅监视数据工厂，详细了解可为 Azure 数据工厂收集的数据以及如何使用这些数据。

指标

本部分列出了为此服务自动收集的所有平台指标。 这些指标也是 Azure Monitor 中支持的所有平台指标的全局列表的一部分。

有关指标保留的信息，请参阅 Azure Monitor 指标概述。

Microsoft.DataFactory/datafactories 支持的指标

下表列出了可用于 Microsoft.DataFactory/datafactories 资源类型的指标。

表标题

• 指标 - 在 Azure 门户中显示的指标显示名称。
• Rest API 中的名称 - 在 REST API 中引用的指标名称。
• 单位 - 度量单位。
• 聚合 - 默认的聚合类型。 有效值：平均值、最小值、最大值、总计、计数。
• 维度 - 适用于指标的维度。
• 时间粒度 - 对指标采样的间隔。 例如，PT1M 表示该指标每分钟采样一次，PT30M 表示每 30 分钟一次，PT1H 表示每小时一次，以此类推。
• DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息，请参阅在 Azure Monitor 中创建诊断设置。

Microsoft.DataFactory/factories 支持的指标

下表列出了可用于 Microsoft.DataFactory/factories 资源类型的指标。

表标题

• 指标 - 在 Azure 门户中显示的指标显示名称。
• Rest API 中的名称 - 在 REST API 中引用的指标名称。
• 单位 - 度量单位。
• 聚合 - 默认的聚合类型。 有效值：平均值、最小值、最大值、总计、计数。
• 维度 - 适用于指标的维度。
• 时间粒度 - 对指标采样的间隔。 例如，PT1M 表示该指标每分钟采样一次，PT30M 表示每 30 分钟一次，PT1H 表示每小时一次，以此类推。
• DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息，请参阅在 Azure Monitor 中创建诊断设置。

指标维度

有关指标维度定义的信息，请参阅多维指标。

此服务具有以下与其指标关联的维度。

Microsoft.DataFactory/datafactories

• pipelineName
• activityName

Microsoft.DataFactory/factories

• ActivityType
• PipelineName
• FailureType
• 名称
• IntegrationRuntimeName
• ContainerName
• DagFile
• DagId
• ComputeNodeSize
• 作业
• 操作员
• 池
• TaskId
• State
• NodeName
• CancelledBy
• RunId

资源日志

本部分列出了可为此服务收集的资源日志类型。 本部分拉取自 Azure Monitor 支持的所有资源日志类别类型列表。

Microsoft.DataFactory/factories 支持的资源日志

Azure Monitor 日志表

本部分列出了与此服务相关的 Azure Monitor 日志表，日志分析可使用 Kusto 查询来查询这些表。 这些表包含资源日志数据，此外还可能包含其他数据，具体取决于所收集并路由到这些表的内容。

数据工厂

Microsoft.DataFactory/factories

• AzureActivity
• AzureMetrics
• AzureDiagnostics
• ADFActivityRun
• ADFPipelineRun
• ADFTriggerRun
• ADFSandboxActivityRun
• ADFSandboxPipelineRun
• ADFSSISIntegrationRuntimeLogs
• ADFSSISPackageEventMessageContext
• ADFSSISPackageEventMessages
• ADFSSISPackageExecutableStatistics
• ADFSSISPackageExecutionComponentPhases
• ADFSSISPackageExecutionDataStatistics

日志和事件的 Monitor 和 Log Analytics 架构

本部分列出了 Azure Monitor 和 Log Analytics 架构用于监视日志和事件的属性。

Log Analytics 从 Azure Monitor 继承架构，但存在以下例外情况：

• 每个列名中的第一个字母会大写。 例如，Monitor 中的列名“correlationId”在 Log Analytics 中为“CorrelationId”。

• 没有“Level”列。

• 动态“properties”列保留为以下动态 JSON Blob 类型。

  Azure Monitor 列	Log Analytics 列	类型
  $.properties.UserProperties	UserProperties	动态
  $.properties.Annotations	批注	动态
  $.properties.Input	输入	动态
  $.properties.Output	输出	动态
  $.properties.Error.errorCode	ErrorCode	int
  $.properties.Error.message	ErrorMessage	string
  $.properties.Error	错误	动态
  $.properties.Predecessors	Predecessors	动态
  $.properties.Parameters	parameters	动态
  $.properties.SystemParameters	SystemParameters	动态
  $.properties.Tags	Tags	动态

活动运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}

管道运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "location": "",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      },
      "Predecessors": [
            {
                "Name": "",
                "Id": "",
                "InvokedByType": ""
            }
        ]
    }
}

触发器运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

SSIS Integration Runtime 日志特性

以下是 SQL Server Integration Services (SSIS) 集成运行时 (IR) 启动、停止和维护操作的日志属性。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}

SSIS 事件消息上下文日志特性

下面是与 SSIS IR 上的 SSIS 包执行生成的事件消息相关的条件的日志特性。 它们传递的信息与 SSIS 目录 (SSISDB) 事件消息上下文表或视图类似后者显示许多 SSIS 包属性的运行时值。 它们在选择 Basic/Verbose 日志记录级别时生成，可用于调试/符合性检查。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}

SSIS 事件消息日志特性

下面是通过 SSIS IR 上的 SSIS 包执行操作生成的事件消息的日志特性。 它们传递的信息与 SSISDB 事件消息表或视图类似，后者显示事件消息的详细文本或元数据。 它们可以在除 None 之外的任何日志记录级别生成。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}

SSIS 可执行文件统计信息日志特性

下面是通过 SSIS IR 上的 SSIS 包执行操作生成的可执行文件统计信息的日志特性，其中的可执行文件是包的控制流中的容器或任务。 它们传递的信息与 SSISDB 可执行文件统计信息表或视图类似，后者显示每个运行的可执行文件（包括其迭代）的一行。 它们可在除 None 之外的任何日志记录级别生成，用于识别任务级瓶颈或失败。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}

SSIS 执行组件阶段日志特性

以下是通过 SSIS IR 上的 SSIS 包执行生成的数据流组件的运行时统计信息的日志属性。 它们传递的信息与 SSISDB 执行组件阶段表或视图类似，后者显示数据流组件在其所有执行阶段中花费的时间。 当你选择 Performance/Verbose 日志记录级别时会生成它们，用于捕获数据流执行统计信息。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

SSIS 执行数据统计信息日志特性

下面是通过数据流管道的每个分支进行的从上游组件到下游组件的数据移动的日志特性，这些特性通过 SSIS IR 上的 SSIS 包执行操作生成。 它们传递的信息与 SSISDB 执行数据统计信息表或视图类似，后者显示通过数据流任务移动的数据的行数。 当你选择 Verbose 日志记录级别时会生成它们，用于计算数据流吞吐量。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

活动日志

链接表列出了可在此服务的活动日志中记录的操作。 这是活动日志中所有可能的资源提供程序操作的子集。

有关活动日志条目架构的详细信息，请参阅活动日志架构。

• Microsoft.DataFactory 资源提供程序操作

相关内容

• 监视数据工厂
• 使用 Azure Monitor 监视 Azure 资源
• 使用 SDK 以编程方式监视