使用 Azure 数据工厂或 Azure Synapse Analytics 从 SharePoint Online 列表复制数据

适用于： Azure 数据工厂 Azure Synapse Analytics

本文概述如何使用 Azure 数据工厂和 Azure Synapse Analytics 中的复制活动从 SharePoint Online 列表复制数据。 本文根据复制活动一文（其中大致介绍了复制活动）编写。

支持的功能

此 SharePoint Online 列表连接器支持以下功能：

① Azure 集成运行时 ② 自承载集成运行时

如需可以用作源或接收器的数据存储的列表，请参阅支持的数据存储表。

具体而言，此 SharePoint Online 列表连接器使用服务主体身份验证，并通过 OData 协议检索数据。

开始使用

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure 资源管理器模板

使用 UI 创建到 SharePoint Online 列表的链接服务

使用以下步骤在 Azure 门户 UI 中创建一个到 SharePoint Online 列表的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索 SharePoint 并选择 SharePoint Online 列表连接器。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

对于特定于 SharePoint Online 列表连接器的实体，以下部分提供了可用于定义这些实体的属性的详细信息。

链接服务属性

SharePoint Online 列表链接的服务支持以下属性：

示例 1：使用服务主体密钥身份验证

{
    "name": "SharePointOnlineList",
    "properties": {
        "type": "SharePointOnlineList",
        "typeProperties": {
            "siteUrl": "<site URL>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType":  "ServicePrincipalKey",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenantId": "<tenant ID>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

示例 2：使用服务主体证书身份验证

{
    "name": "SharePointOnlineList",
    "properties": {
        "type": "SharePointOnlineList",
        "typeProperties": {
            "siteUrl": "<site URL>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalEmbeddedCert": { 
                "type": "SecureString", 
                "value": "<base64 encoded string of (.pfx) certificate data>"
            },
            "servicePrincipalEmbeddedCertPassword": { 
                "type": "SecureString", 
                "value": "<password of your certificate>"
            },
            "tenantId": "<tenant ID>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

授予使用服务主体密钥的权限

SharePoint Online 列表连接器使用服务主体身份验证连接到 SharePoint。 请按照以下步骤进行设置：

1. 将应用程序注册到 Microsoft 标识平台。 快速入门：通过 Microsoft 标识平台注册应用程序。 记下以下值，这些值用于定义链接服务：

   • 应用程序 ID
   • 应用程序密钥
   • 租户 ID

2. 按照以下步骤，向你注册的应用程序授予 SharePoint Online 网站权限。 为此，需要具有站点管理员角色。

   1. 打开你的 SharePoint Online 网站 链接。 例如格式为 https://<your-site-url>/_layouts/15/appinv.aspx 的 URL，其中的占位符 <your-site-url> 是你的站点。

   2. 搜索已注册的应用程序 ID，填写空字段，然后单击“创建”。

      • 应用程序域：contoso.com

      • 重定向 URL：https://www.contoso.com

      • 权限请求 XML：

        <AppPermissionRequests AllowAppOnlyPolicy="true">
            <AppPermissionRequest Scope="http://sharepoint/content/sitecollection/web" Right="Read"/>
        </AppPermissionRequests>
        

        

      注意

      在配置 SharePoint 连接器的上下文中，“应用域”和“重定向 URL”指的是 Microsoft Entra ID 中注册的用于访问 SharePoint 数据的 SharePoint 应用。 “应用域”是托管 SharePoint 站点的域。 例如，如果 SharePoint 站点位于 https://contoso.sharepoint.com"，则“应用域”为“contoso.sharepoint.com”。 “重定向 URL”是 SharePoint 应用在用户向该应用验证身份并获取其权限后重定向到的 URL。 此 URL 应是应用有权访问的 SharePoint 站点页面。 例如，你可以使用显示库中文件列表的页面的 URL，也可以使用显示文档内容的页面的 URL。

   3. 对此应用单击“信任它”。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集和链接服务。 以下部分提供 SAP 表数据集支持的属性列表。

示例

{
    "name": "SharePointOnlineListDataset",
    "properties":
    {
        "type": "SharePointOnlineListResource",
        "linkedServiceName": {
            "referenceName": "<SharePoint Online List linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "listName": "<name of the list>"
        }
    }
}

复制活动属性

有关可用于定义活动的各个部分和属性的完整列表，请参阅管道。 以下部分提供 SharePoint Online 列表源支持的属性列表。

SharePoint Online 列表作为源

若要从 SharePoint Online 列表复制数据，复制活动“源”部分支持以下属性：

示例

"activities":[
    {
        "name": "CopyFromSharePointOnlineList",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SharePoint Online List input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SharePointOnlineListSource",
                "query": "<OData query e.g. $top=10&$select=Title,Number>"
            }, 
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

SharePoint Online 列表的数据类型映射

从 SharePoint Online 列表复制数据时，在 SharePoint Online 列表数据类型和此服务在内部使用的临时数据类型之间使用以下映射。

从 SharePoint Online 复制文件

您可以使用以下方法从 SharePoint Online 复制文件：使用 Web 活动进行身份验证并从 SPO 中获取访问令牌，然后传递到后续的复制活动以使用 HTTP 连接器作为源复制数据。

1. 按照授予使用服务主体密钥的权限一节中的说明，创建 Microsoft Entra 应用程序并向 SharePoint Online 授予权限。

2. 创建 Web 活动以从 SharePoint Online 获取访问令牌：

   • URL：https://accounts.accesscontrol.chinacloudapi.cn/[Tenant-ID]/tokens/OAuth/2 替换租户 ID。
   • 方法：POST
   • 标头：
     • 内容类型：application/x-www-form-urlencoded
   • 正文：grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&client_secret=[Client-Secret]&resource=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name].sharepoint.com@[Tenant-ID]。 替换客户端 ID（应用程序 ID）、客户端密码（应用程序密钥）、租户 ID 和（SharePoint 租户的）租户名称。

   注意

   在 Web 活动中，将“安全输出”选项设置为 true，以防止令牌值以纯文本格式记录。 使用此值的任何其他活动都应将其“安全输入”选项设置为 true。

3. 与 HTTP 连接器作为源的复制活动链接以复制 SharePoint Online 文件内容：

   • HTTP 链接服务：
     • 基 URL：https://[site-url]/_api/web/GetFileByServerRelativeUrl('[relative-path-to-file]')/$value 替换网站 URL 和文件的相对路径。 请确保包含 SharePoint 站点 URL 以及域名，例如 https://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/GetFileByServerRelativeUrl('/sites/[sharepoint-site]/[relative-path-to-file]')/$value。
     • 身份验证类型：匿名（稍后使用复制活动源中配置的持有者令牌）
   • 数据集：选择所需的格式。 若要按原样复制文件，请选择“二进制”类型。
   • 复制活动源：
     • 请求方法：GET
     • 其他标头：使用以下表达式@{concat('Authorization: Bearer ', activity('<Web-activity-name>').output.access_token)}，该表达式将上游 Web 活动生成的持有者令牌用作授权标头。 替换 Web 活动名称。
   • 为任何受支持的接收器目标配置复制活动接收器。

查找活动属性

若要了解有关属性的详细信息，请查看 Lookup 活动。

相关内容

有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储和格式。