Compartilhar via

Azure 数据工厂和 Azure Synapse Analytics 中的 Iceberg 格式

适用于：Azure 数据工厂 Azure Synapse Analytics

若要将数据写入 Iceberg 格式，请按照本文的说明操作。

以下连接器支持 Iceberg 格式：

可以在“复制活动”中使用 Iceberg 数据集。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Iceberg 格式数据集支持的属性列表。

属性 描述 必填
类型 数据集的类型属性必须设置为 Iceberg。 是
位置 文件的位置设置。 每个基于文件的连接器在 location 下都有其自己的位置类型和支持的属性。 是

下面是 Azure Data Lake Storage Gen2 上的 Iceberg 数据集示例：

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Iceberg 汇聚器支持的属性列表。

Iceberg 作为汇聚点

在复制活动的 接收 部分中支持以下属性。

属性 描述 必填
类型 复制活动源的类型属性必须设置为 IcebergSink。 是
格式设置 一组属性。 请参阅下面的“Iceberg 写入设置”表。 否
存储设置 有关如何将数据写入到数据存储的一组属性。 每个基于文件的连接器在 storeSettings 下都有其自身支持的写入设置。 否

下支持的 Iceberg 写入设置formatSettings：

属性 描述 必填
类型 formatSettings 的类型必须被设置为 IcebergWriteSettings。 是

下面是与带分隔符的文本格式相关的一些常见连接器和格式：

相关内容

  • Last updated on