通过

Azure 数据工厂和 Azure Synapse Analytics 中的 Iceberg 格式

  • 项目

适用于：Azure 数据工厂 Azure Synapse Analytics

提示

试用 Microsoft Fabric 中的数据工厂，这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用！

若要将数据写入 Iceberg 格式，请按照本文的说明操作。

以下连接器支持 Iceberg 格式：

可以在“复制活动”中使用 Iceberg 数据集。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Iceberg 格式数据集支持的属性列表。

properties 描述 必需
type 数据集的类型属性必须设置为 Iceberg。 是
location 文件的位置设置。 每个基于文件的连接器在 location 下都有其自己的位置类型和支持的属性。 是

下面是 Azure Data Lake Storage Gen2 上的 Iceberg 数据集示例：

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Iceberg 接收器支持的属性列表。

Iceberg 作为接收器

复制活动的 *sink* 节支持以下属性。

属性 描述 必需
type 复制活动源的类型属性必须设置为 IcebergSink。 是
formatSettings 一组属性。 请参阅下面的“Iceberg 写入设置”表。 否
storeSettings 有关如何将数据写入到数据存储的一组属性。 每个基于文件的连接器在 storeSettings 下都有其自身支持的写入设置。 否

formatSettings 下支持的 Iceberg 写入设置：

properties 描述 必需
type formatSettings 的类型必须设置为 IcebergWriteSettings。 是

下面是与带分隔符的文本格式相关的一些常见连接器和格式：

相关内容