使用Azure Data Factory或Azure Synapse Analytics向/从文件系统复制数据

适用于： Azure Data Factory Azure Synapse Analytics

本文概述了如何向/从文件系统复制数据。 若要了解详细信息，请阅读 Azure Data Factory 或 Azure Synapse Analytics的介绍性文章。

支持的功能

此文件系统连接器支持以下功能：

（1） Azure集成运行时 （2） 自承载集成运行时

具体而言，此文件系统连接器支持：

• 从/向网络文件共享目录复制文件。 若要使用 Linux 文件共享，请在 Linux 服务器上安装 Samba。
• 使用 基本 身份验证复制文件。
• 按原样复制文件，或者使用支持的文件格式和压缩编解码器分析/生成文件。

先决条件

如果数据存储位于本地网络、Azure虚拟网络或 Amazon 虚拟私有云中，则需要配置自承载集成运行时以连接到它。

如果数据存储是托管的云数据服务，则可以使用Azure Integration Runtime。 如果访问仅限于防火墙规则中批准的 IP，则可以将 Azure Integration Runtime IP 添加到允许列表。

还可以在 Azure Data Factory 中使用 托管虚拟网络集成运行时功能访问本地网络，而无需安装和配置自承载集成运行时。

要详细了解网络安全机制和数据工厂支持的选项，请参阅数据访问策略。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 创建文件系统链接服务

使用以下步骤在Azure门户 UI 中创建文件系统链接服务。

1. 浏览到Azure Data Factory或 Synapse 工作区中的“管理”选项卡，然后选择“链接服务”，然后选择“新建”

   • Azure Data Factory
   • Azure Synapse

   

2. 搜索“文件”并选择“文件系统连接器”。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

以下部分提供了有关用于定义特定于文件系统的数据工厂和 Synapse 管道实体的属性详细信息。

连接的服务属性

文件系统链接服务支持以下属性：

链接服务和数据集定义示例

示例：

{
    "name": "FileLinkedService",
    "properties": {
        "type": "FileServer",
        "typeProperties": {
            "host": "<host>",
            "userId": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。

Azure Data Factory支持以下文件格式。 请参阅每一篇介绍基于格式的设置的文章。

• Avro 格式
• 二进制格式
• 带分隔符的文本格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

在基于格式的数据集中的 location 设置下，文件系统支持以下属性：

示例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<File system linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FileServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

复制活动 属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供文件系统源和接收器支持的属性列表。

文件系统作为源

Azure Data Factory支持以下文件格式。 请参阅每一篇介绍基于格式的设置的文章。

• Avro 格式
• 二进制格式
• 带分隔符的文本格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

在基于格式的复制源中的 storeSettings 设置下，文件系统支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FileServerReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

文件系统作为输出点

Azure Data Factory支持以下文件格式。 请参阅每一篇介绍基于格式的设置的文章。

• Avro 格式
• 二进制格式
• 带分隔符的文本格式
• JSON 格式
• ORC 格式
• Parquet 格式

在格式化复制终端的 storeSettings 设置下，文件系统支持以下属性：

示例：

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "FileServerWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

文件夹和文件筛选器示例

本部分介绍使用通配符筛选器生成文件夹路径和文件名的行为。

文件列表示例

本部分介绍了在复制活动源中使用文件列表路径时的结果行为。

假设有以下源文件夹结构，并且要复制加粗显示的文件：

recursive 和 copyBehavior 示例

本节描述了在不同组合的递归和复制行为值下，复制操作的结果表现。

查找活动属性

若要了解有关属性的详细信息，请查看 Lookup 活动。

GetMetadata 活动属性

若要了解有关属性的详细信息，请查看 GetMetadata 活动。

删除活动属性

若要了解有关属性的详细信息，请查看删除活动。

传统模型

旧数据集模型

示例：

{
    "name": "FileSystemDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<file system linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

遗留复制活动源模型

示例：

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<file system input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

旧复制活动接收端模型

示例：

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<file system output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

相关内容

为了获取复制活动支持的数据源和汇集列表，请参阅支持的数据存储。