Azure 数据工厂和 Azure Synapse Analytics 中带分隔符的文本格式

适用于： Azure 数据工厂 Azure Synapse Analytics

若要分析带分隔符的文本文件或以带分隔符的文本格式写入数据，请遵循此文章中的说明。

以下连接器支持带分隔符的文本格式：

• Amazon S3
• Amazon S3 兼容存储
• Azure Blob
• Azure Data Lake Storage Gen2
• Azure 文件
• 文件系统
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle 云存储
• SFTP

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供带分隔符的文本数据集支持的属性列表。

下面是 Azure Blob 存储上的带分隔符的文本数据集的示例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "escapeChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供带分隔符的文本源和接收器支持的属性列表。

带分隔符的文本作为源

复制活动的 *source* 部分支持以下属性。

formatSettings 下支持的带分隔符的文本读取设置：

"activities": [
    {
        "name": "CopyFromDelimitedText",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 3,
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

带分隔符的文本作为接收器

复制活动的 *sink* 部分支持以下属性。

formatSettings 下支持的带分隔符的文本写入设置：

映射数据流属性

在映射数据流时，可以在以下数据存储中读取和写入分隔文本格式：Azure Blob 存储、Azure Data Lake Storage Gen2 和 SFTP。

内联数据集

映射数据流支持将“内联数据集”作为定义源和接收器的选项。 内联分隔式数据集直接在源和接收器转换中定义，并且不会在定义的数据流外部共享。 该数据集对直接在数据流中参数化数据集属性非常有用，并且可以从共享 ADF 数据集的性能改进中获益。

读取大量源文件夹和文件时，可以通过在“投影 | 架构”选项对话框中设置选项“用户投影架构”来提升数据流文件发现的性能。 此选项会关闭 ADF 的默认架构自动发现，并将极大地提升文件发现的性能。 在设置此选项前，请务必导入投影，以便 ADF 具有用于投影的现有架构。 此选项不适用于架构偏差。

源属性

下表列出了带分隔符的文本源支持的属性。 你可以在“源选项”选项卡中编辑这些属性。

源示例

下图是映射数据流中带分隔符的文本源配置的示例。

关联的数据流脚本为：

source(
    allowSchemaDrift: true,
        validateSchema: false,
        ignoreNoFilesFound: false,
        multiLineRow: true,
        wildcardPaths:['*.csv']) ~> CSVSource

接收器属性

下表列出了带分隔符的文本接收器支持的属性。 可以在“设置”选项卡中编辑这些属性。

接收器示例

下图是映射数据流中带分隔符的文本接收器配置的示例。

关联的数据流脚本为：

CSVSource sink(allowSchemaDrift: true,
    validateSchema: false,
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CSVSink

相关连接器和格式

下面是与带分隔符的文本格式相关的一些常见连接器和格式：

• Azure Blob 存储
• 二进制格式
• Dataverse
• 增量格式
• Excel 格式
• 文件系统
• FTP
• HTTP
• JSON 格式
• Parquet 格式

相关内容

• 数据集架构中的数据类型映射
• 复制活动概述
• 映射数据流
• Lookup 活动
• GetMetadata 活动