Azure 数据工厂 和 Azure Synapse Analytics 中的 Parquet 格式

适用于： Azure 数据工厂 Azure Synapse Analytics

如果要分析 Parquet 文件或以 Parquet 格式写入数据，请遵循此文章中的说明。

以下连接器支持 Parquet 格式：

• Amazon S3
• Amazon S3 兼容存储
• Azure Blob
• Azure Data Lake Storage Gen2
• Azure 文件存储
• 文件系统
• FTP
• Google 云存储
• HDFS
• HTTP
• Oracle 云存储
• SFTP

有关所有可用连接器支持的功能的列表，请访问连接器概述一文。

使用自托管集成运行时

对于在自托管 IR 上使用 Parquet 文件序列化/反序列化的运行任务，该服务首先会检查注册表(SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome)以寻找 JRE，如果没有找到，再检查系统变量JAVA_HOME以寻找 OpenJDK，从而定位 Java 运行时。

• 若要使用 JRE：64 位 IR 需要 64 位 JRE。 可在此处找到它。
• 若要使用 JDK：64 位 IR 需要 64 位 JDK 23。 可在此处找到它。 请务必将 JAVA_HOME 系统变量更新为 JDK 23 安装的根文件夹，即 C:\Program Files\Java\jdk-23，并将 C:\Program Files\Java\jdk-23\bin 和 C:\Program Files\Java\jdk-23\bin\server 文件夹的路径添加到 Path 系统变量中。
• 若要使用 OpenJDK：从 IR 版本 3.13 开始受支持。 将 jvm.dll 以及所有其他必需的 OpenJDK 程序集打包到自承载 IR 计算机中，并相应地设置系统环境变量 JAVA_HOME，然后重启自承载 IR，以便立即生效。 若要下载Microsoft Build of OpenJDK，请参阅 Microsoft Build of OpenJDK 。

示例：将变量 _JAVA_OPTIONS 的值设置为 -Xms256m -Xmx16g。 标志 Xms指定Java虚拟机（JVM）的初始内存分配池，而 Xmx指定最大内存分配池。 这意味着 JVM 初始内存为 Xms，并且能够使用的最多内存为 Xmx。 默认情况下，该服务最少使用 64 MB 且最多使用 1G。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供了 Parquet 数据集支持的属性列表。

下面是 Azure Blob 存储 上的 Parquet 数据集示例：

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

复制活动 属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供了 Parquet 源和接收器支持的属性列表。

Parquet 作为源

复制活动 *source* 节中支持以下属性。

Parquet 作为接收器

复制操作中的 sink 节支持以下属性。

下支持的 Parquet 写入设置：

映射数据流属性

在映射数据流中， 可以在以下数据存储中读取和写入 parquet 格式：Azure Blob 存储、Azure Data Lake Storage Gen2 和 SFTP，并且可以以 Amazon S3。

源属性

下表列出了 parquet 源支持的属性。 可以在“源选项”选项卡中编辑这些属性。

源示例

下图是映射数据流中 Parquet 源配置的一个示例。

关联的数据流脚本为：

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

接收器属性

下表列出了 parquet 汇聚点所支持的属性。 你可以在“设置”选项卡中编辑这些属性。

接收器示例

下图是映射数据流中 Parquet 终端配置的示例。

关联的数据流脚本为：

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Parquet 的数据类型映射

当从 Parquet 格式的数据源连接器读取数据时，将使用以下映射，从 Parquet 数据类型映射到服务内部的临时数据类型。

当以 Parquet 格式将数据写入接收器连接器时，服务内部使用的中间数据类型会被映射为 Parquet 数据类型。

若要了解复制活动如何将源架构和数据类型映射到接收器，请参阅架构和数据类型映射。

Parquet 复杂数据类型（如 MAP、LIST、STRUCT）目前仅在数据流中被支持，而在复制活动中不被支持。 若要在数据流中使用复杂类型，请不要在数据集中导入文件架构，而是在数据集中将架构留空。 然后，在源转换中导入投影。

相关内容

• 复制活动概述
• 映射数据流
• 查询活动
• GetMetadata 活动