Azure 数据工厂和 Synapse Analytics 中的 ORC 格式

适用于：Azure 数据工厂 Azure Synapse Analytics

如果要分析 ORC 文件或以 ORC 格式写入数据，请遵循本文中的说明。

以下连接器支持 ORC 格式：Amazon S3、Amazon S3 兼容存储、Azure Blob、Azure Data Lake Storage Gen2、Azure 文件存储、文件系统、FTP、Google 云存储、HDFS、HTTP、Oracle 云存储和 SFTP。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 ORC 数据集支持的属性列表。

下面是 Azure Blob 存储上的 ORC 数据集的示例：

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

请注意以下几点：

• 复杂数据类型（如 MAP、LIST、STRUCT）目前仅在数据流中受支持，而在复制活动中不受支持。 若要在数据流中使用复杂类型，请不要在数据集中导入文件架构，而是在数据集中将架构留空。 然后，在源转换中导入投影。
• 不支持列名称中的空格。

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 ORC 源和接收器支持的属性列表。

以 ORC 作为源

复制活动的 *source* 节支持以下属性。

以 ORC 作为接收器

复制活动的 *sink* 节支持以下属性。

formatSettings 下支持的 ORC 写入设置：

映射数据流属性

在映射数据流时，可以在以下数据存储中读取和写入 ORC 格式：Azure Blob 存储、Azure Data Lake Storage Gen2 和 SFTP，并且可以在 Amazon S3 中读取 ORC 格式。

可以使用 ORC 数据集或使用内联数据集来指向 ORC 文件。

源属性

下表列出了 ORC 源支持的属性。 可以在“源选项”选项卡中编辑这些属性。

在使用内联数据集时，你将看到其他文件设置，这些设置与数据集属性部分中描述的属性相同。

源示例

ORC 源配置的关联数据流脚本是：

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

接收器属性

下表列出了 ORC 接收器支持的属性。 你可以在“设置”选项卡中编辑这些属性。

在使用内联数据集时，你将看到其他文件设置，这些设置与数据集属性部分中描述的属性相同。

接收器示例

ORC 接收器配置的关联数据流脚本是：

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

使用自承载集成运行时

对于使用 ORC 文件序列化/反序列化在自承载集成运行时上运行的复制，该服务将通过首先检查 JRE 的注册表项 (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) 来查找 Java 运行时，如果未找到，则会检查系统变量 JAVA_HOME 来查找 OpenJDK。

• 若要使用 JRE：64 位 IR 需要 64 位 JRE。 可在此处找到它。
• 若要使用 OpenJDK：从 IR 版本 3.13 开始受支持。 将 jvm.dll 以及所有其他必需的 OpenJDK 程序集打包到自承载 IR 计算机中，并相应地设置系统环境变量 JAVA_HOME。
• 若要安装 Visual C++ 2010 Redistributable Package：安装自承载 IR 时未安装 Visual C++ 2010 Redistributable Package。 可在此处找到它。

示例：将变量 _JAVA_OPTIONS 的值设置为 -Xms256m -Xmx16g。 标志 Xms 指定 Java 虚拟机 (JVM) 的初始内存分配池，而 Xmx 指定最大内存分配池。 这意味着 JVM 初始内存为 Xms，并且能够使用的最多内存为 Xmx。 默认情况下，该服务最少使用 64 MB 且最多使用 1G。

相关内容

• 复制活动概述
• Lookup 活动
• GetMetadata 活动