使用 Azure 数据工厂中的 Hadoop 流式处理活动转换数据

适用于: Azure 数据工厂 Azure Synapse Analytics

数据工厂管道中的 HDInsight 流式处理活动会在自己的按需 HDInsight 群集上执行 Hadoop 流式处理程序。 本文基于数据转换活动一文,它概述了数据转换和受支持的转换活动。

如果不熟悉 Azure 数据工厂,请在阅读本文之前,先通读 Azure 数据工厂简介,并学习教程:转换数据

JSON 示例

{
    "name": "Streaming Activity",
    "description": "Description",
    "type": "HDInsightStreaming",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "mapper": "MyMapper.exe",
        "reducer": "MyReducer.exe",
        "combiner": "MyCombiner.exe",
        "fileLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "filePaths": [
            "<containername>/example/apps/MyMapper.exe",
            "<containername>/example/apps/MyReducer.exe",
            "<containername>/example/apps/MyCombiner.exe"
        ],
        "input": "wasb://<containername>@<accountname>.blob.core.chinacloudapi.cn/example/input/MapperInput.txt",
        "output": "wasb://<containername>@<accountname>.blob.core.chinacloudapi.cn/example/output/ReducerOutput.txt",
        "commandEnvironment": [
            "CmdEnvVarName=CmdEnvVarValue"
        ],
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

语法详细信息

属性 说明 必须
name 活动名称
description 描述活动用途的文本
type 对于 Hadoop 流式处理活动,活动类型是 HDInsightStreaming
linkedServiceName 引用在数据工厂中注册为链接服务的 HDInsight 群集。 若要了解此链接服务,请参阅计算链接服务一文。
mapper 指定映射器可执行文件的名称
reducer 指定化简器可执行文件的名称
combiner 指定合并器可执行文件的名称
fileLinkedService 对 Azure 存储链接服务的引用,该服务用于存储要执行的映射器、合并器和化简器程序。 此处仅支持 Azure Blob 存储ADLS Gen2 链接服务 。 如果未指定此链接服务,则使用 HDInsight 链接服务中定义的 Azure 存储链接服务。
filePath 提供由 fileLinkedService 引用的 Azure 存储中存储的映射器、合并器和化简器程序的路径数组。 此路径区分大小写。
input 指定映射器输入文件的 WASB 路径。
output 指定化简器输出文件的 WASB 路径。
getDebugInfo 指定何时将日志文件复制到 HDInsight 群集使用的(或者)scriptLinkedService 指定的 Azure 存储。 允许的值:None、Always 或 Failure。 默认值:无。
参数 指定 Hadoop 作业的参数数组。 参数以命令行参数的形式传递到每个任务。
定义 在 Hive 脚本中指定参数作为键/值对,以供引用。

后续步骤

参阅以下文章了解如何以其他方式转换数据: