Azure 数据工厂中带分隔符的文本格式

• 06/07/2021
• • W

适用于： Azure 数据工厂 Azure Synapse Analytics

若要 分析带分隔符的文本文件或以带分隔符的文本格式写入数据，请遵循此文章中的说明。

以下连接器支持带分隔符的文本格式：Amazon S3、Amazon S3 兼容存储、Azure Blob、Azure Data Lake Storage Gen2、Azure 文件存储、文件系统、FTP、Google Cloud Storage、HDFS、HTTP、Oracle Cloud Storage 和 SFTP。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供带分隔符的文本数据集支持的属性列表。

下面是 Azure Blob 存储上的带分隔符的文本数据集的示例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "escapeChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供带分隔符的文本源和接收器支持的属性列表。

带分隔符的文本作为源

复制活动的 *source* 节支持以下属性。

formatSettings 下支持的 带分隔符的文本读取设置：

"activities": [
    {
        "name": "CopyFromDelimitedText",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 3,
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

带分隔符的文本作为接收器

复制活动的 *sink* 节支持以下属性。

formatSettings 下支持的 带分隔符的文本写入设置：

映射数据流属性

在映射数据流中，可以在以下数据存储中读取和写入带分隔符的文本格式：Azure Blob 存储和 Azure Data Lake Storage Gen2。

源属性

下表列出了带分隔符的文本源支持的属性。 你可以在“源选项”选项卡中编辑这些属性。

源示例

下图是映射数据流中带分隔符的文本源配置的示例。

关联的数据流脚本为：

source(
    allowSchemaDrift: true,
    validateSchema: false,
    multiLineRow: true,
    wildcardPaths:['*.csv']) ~> CSVSource

接收器属性

下表列出了带分隔符的文本接收器支持的属性。 可以在“设置”选项卡中编辑这些属性。

接收器示例

下图是映射数据流中带分隔符的文本接收器配置的示例。

关联的数据流脚本为：

CSVSource sink(allowSchemaDrift: true,
    validateSchema: false,
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CSVSink

后续步骤

• 复制活动概述
• 映射数据流
• Lookup 活动
• GetMetadata 活动