监视复制活动

适用于： Azure 数据工厂 Azure Synapse Analytics

本文概述如何监视 Azure 数据工厂和 Synapse 中的复制活动执行情况。 它是基于概述复制活动总体的复制活动概述一文。 还可以使用相同的方法，来监视通过复制数据工具生成的复制活动以及删除活动。

直观地监视

创建并发布管道后，就可以将它与触发器相关联，或手动启动临时运行。 可以在用户体验中以本机方式监视所有管道运行。 通过可视化监控 Azure 数据工厂和 Synapse 管道全面了解监控。

要监视复制活动运行，请转到服务实例的数据工厂 Studio 或 Azure Synapse Studio UI。 在“监视器”选项卡上，可以看到一个管道运行列表，单击“管道名称”链接即可访问管道运行中的活动运行的列表。

在此级别，可以看到复制活动输入、输出和错误的链接（如果复制活动运行失败）以及持续时间/状态等统计信息。 单击复制活动名称旁边的“详细信息” 按钮（眼镜）即可详细了解复制活动执行情况。

在此图形监视视图中，该服务会提供复制活动执行信息，其中包括数据读取/写入量、从源复制到接收器的数据的文件数/行数、吞吐量、针对复制方案应用的配置、使用相应的持续时间和详细信息执行复制活动的步骤，等等。 请参阅此表，了解每个可能的指标及其详细说明。

在某些情况下，运行复制活动时，复制活动监视视图的顶部会显示“性能优化提示”，如示例中所示。 这些提示告知服务针对此特定复制运行确定的瓶颈，并建议如何进行更改，以便提升复制吞吐量。 详细了解自动性能优化提示。

底部的执行详细信息和持续时间描述了复制活动所要经历的重要阶段，这对于排查复制性能问题特别有用。 复制运行的瓶颈就是持续时间最长的那个运行。 请参阅排查复制活动性能问题，了解每个阶段所代表的内容以及详细的故障排除指南。

示例：从 Amazon S3 复制到 Azure Data Lake Storage Gen2

以编程方式监视

“复制活动运行结果”>“输出”部分（用于呈现 UI 监视视图）中也会返回复制活动执行详细信息和性能特征。 下面是可能返回的属性的完整列表。 只会显示适用于你的复制方案的属性。 有关如何以编程方式监视活动运行的一般信息，请参阅以编程方式监视 Azure 数据工厂或 Synapse 管道。

示例：

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (China East 2)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "China East 2",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://docs.azure.cn/zh-cn/data-factory/copy-activity-performance#performance-tuning-steps",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

相关内容

请参阅其他复制活动文章：

- 复制活动概述

- 复制活动性能