Azure 数据工厂和 Azure Synapse Analytics 中的 Parquet 格式

适用于： Azure 数据工厂 Azure Synapse Analytics

如果要分析 Parquet 文件或以 Parquet 格式写入数据，请遵循此文章中的说明。

以下连接器支持 Parquet 格式：

• Amazon S3
• Amazon S3 兼容存储
• Azure Blob
• Azure Data Lake Storage Gen2
• Azure 文件
• 文件系统
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle 云存储
• SFTP

有关所有可用连接器支持的功能的列表，请访问连接器概述一文。

使用自承载集成运行时

对于使用 Parquet 文件序列化/反序列化在自承载集成运行时上运行的复制，该服务将通过首先检查 JRE 的注册表项 (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) 来查找 Java 运行时，如果未找到，则会检查系统变量 JAVA_HOME 来查找 OpenJDK。

• 若要使用 JRE：64 位 IR 需要 64 位 JRE。 可在此处找到它。
• 若要使用 OpenJDK：从 IR 版本 3.13 开始受支持。 将 jvm.dll 以及所有其他必需的 OpenJDK 程序集打包到自承载 IR 计算机中，并相应地设置系统环境变量 JAVA_HOME，然后重启自承载 IR，以便立即生效。

示例：将变量 _JAVA_OPTIONS 的值设置为 -Xms256m -Xmx16g。 标志 Xms 指定 Java 虚拟机 (JVM) 的初始内存分配池，而 Xmx 指定最大内存分配池。 这意味着 JVM 初始内存为 Xms，并且能够使用的最多内存为 Xmx。 默认情况下，该服务最少使用 64 MB 且最多使用 1G。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供了 Parquet 数据集支持的属性列表。

下面是 Azure Blob 存储上的 Parquet 数据集的示例：

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供了 Parquet 源和接收器支持的属性列表。

Parquet 作为源

复制活动的 *source* 节支持以下属性。

Parquet 作为接收器

复制活动的 *sink* 节支持以下属性。

formatSettings 下支持的 Parquet 写入设置：

映射数据流属性

在映射数据流中，可以在以下数据存储中读取和写入 parquet 格式：Azure Blob 存储、Azure Data Lake Storage Gen2 和 SFTP。

源属性

下表列出了 parquet 源支持的属性。 可以在“源选项”选项卡中编辑这些属性。

源示例

下图是映射数据流中 parquet 源配置的示例。

关联的数据流脚本为：

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

接收器属性

下表列出了 parquet 接收器支持的属性。 你可以在“设置”选项卡中编辑这些属性。

接收器示例

下图是映射数据流中 parquet 接收器配置的示例。

关联的数据流脚本为：

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

数据类型支持

Parquet 复杂数据类型（如 MAP、LIST、STRUCT）目前仅在数据流中受支持，而在复制活动中不受支持。 若要在数据流中使用复杂类型，请不要在数据集中导入文件架构，而是在数据集中将架构留空。 然后，在源转换中导入投影。

相关内容

• 复制活动概述
• 映射数据流
• Lookup 活动
• GetMetadata 活动