获取Azure Data Factory或Azure Synapse Analytics中的元数据活动

适用于： Azure Data Factory Azure Synapse Analytics

可以使用“获取元数据”活动来检索 Azure Data Factory 或 Synapse 管道中任何数据的元数据。 你可以在条件表达式中使用“获取元数据”活动的输出来执行验证，也可以在后续活动中使用元数据。

使用 UI 创建 Get Metadata 活动

若要在管道中使用 Get Metadata 活动，请完成以下步骤：

1. 在“管道活动”窗格中搜索获取元数据，并将“获取元数据”活动拖动到管道画布。

2. 如果尚未选择，请在画布上选择新的“获取元数据”活动，然后选择其“设置”选项卡，以编辑其详细信息。

3. 选择数据集，或者使用“新建”按钮创建一个新数据集。 然后，可以指定筛选器选项，并从数据集的可用元数据中添加列。

   

4. 将活动输出用作另一个活动的输入，如本示例中的 Switch 活动。 可以在其他活动支持动态内容的任何位置引用 Metadata 活动的输出。

   

5. 在动态内容编辑器中，选择 Get Metadata 活动输出以在其他活动中引用它。

   

支持的功能

“获取元数据”活动采用数据集作为输入，并返回元数据信息作为输出。 目前支持以下连接器和相应的可检索元数据。 返回的元数据不得超过 4 MB。

受支持的连接器

文件存储

¹ 元数据 lastModified：

• 对于 Amazon S3、Amazon S3 兼容存储、Google Cloud Storage 和 Oracle 云存储，lastModified 适用于 bucket 和密钥，但不适用于虚拟文件夹，而 exists 适用于 bucket 和密钥，但不适用于前缀或虚拟文件夹。
• 对于Azure Blob 存储，lastModified适用于容器和 blob，但不适用于虚拟文件夹。

² 从二进制文件、JSON 文件或 XML 文件获取元数据时，不支持元数据 structure 和 columnCount。

³ 元数据 exists：对于 Amazon S3、Amazon S3 兼容存储、Google Cloud Storage 和 Oracle 云存储，exists 适用于 bucket 和密钥，但不适用于前缀或虚拟文件夹。

请注意以下几点：

• 对文件夹使用“获取元数据”活动时，请确保对给定文件夹具有“列出/执行”权限。

• “获取元数据”活动不支持文件夹/文件的通配符筛选器。

• 连接器上设置的 modifiedDatetimeStart 和 modifiedDatetimeEnd 筛选器：

  • 这两个属性用于在从文件夹中获取元数据时筛选子项。 它不适用于从文件中获取元数据的情况。
  • 使用此类筛选器时，输出中的 childItems 仅包括在指定范围内修改的文件，而不包括文件夹。
  • 为了应用此类筛选器，GetMetadata 活动会枚举指定文件夹中的所有文件，并检查修改后的时间。 即使预期的符合条件的文件数很少，也要避免指向包含大量文件的文件夹。

关系数据库

元数据选项

可以在“获取元数据”活动字段列表中指定以下元数据类型，以检索相应的信息：

语法

获取元数据活动

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

数据集

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Type属性

目前，“获取元数据”活动可以返回以下类型的元数据信息：

示例输出

“获取元数据”的结果显示在活动输出中。 以下两个示例演示了大量的元数据选项。 若要在后续活动中使用这些结果，请使用以下模式：@{activity('MyGetMetadataActivity').output.itemName}。

获取文件的元数据

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

获取文件夹的元数据

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

相关内容

了解支持的其他控制流活动：

• 执行管道活动
• ForEach 活动
• 查询活动
• Web 活动