使用 Azure 数据工厂或 Synapse Analytics 向/从 Azure Cosmos DB for MongoDB 复制数据

适用于：Azure 数据工厂 Azure Synapse Analytics

本文概述如何使用 Azure 数据工厂和 Synapse Analytics 管道中的复制活动从/向 Azure Cosmos DB for MongoDB 复制数据。 本文是基于概括性介绍复制活动的复制活动一文编写的。

支持的功能

此 Azure Cosmos DB for MongoDB 连接器支持以下功能：

① Azure 集成运行时 ② 自承载集成运行时

可将 Azure Cosmos DB for MongoDB 中的数据复制到任一受支持的接收器数据存储，或将数据从任一受支持的源数据存储复制到 Azure Cosmos DB for MongoDB。 有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储和格式。

可以将 Azure Cosmos DB for MongoDB 连接器用于：

• 从和向 Azure Cosmos DB for MongoDB 复制数据。
• 以 insert 或 upsert 的形式写入 Azure Cosmos DB。
• 按原样导入和导出 JSON 文档，或在表格数据集中复制或粘贴数据。 示例包括 SQL 数据库和 CSV 文件。 若要在 JSON 文件或另一个 Azure Cosmos DB 集合中按原样复制或粘贴文档，请参阅“导入或导出 JSON 文档”。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure 资源管理器模板

使用 UI 创建到 Azure Cosmos DB for MongoDB 的链接服务

使用以下步骤在 Azure 门户 UI 中创建到 Azure Cosmos DB for MongoDB 的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索 Azure Cosmos DB for MongoDB 并选择该连接器。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

对于特定于 Azure Cosmos DB for MongoDB 的数据工厂实体，以下部分提供了有关可用于定义这些实体的属性的详细信息。

链接服务属性

Azure Cosmos DB for MongoDB 链接服务支持以下属性：

示例

{
    "name": "CosmosDbMongoDBAPILinkedService",
    "properties": {
        "type": "CosmosDbMongoDbApi",
        "typeProperties": {
            "connectionString": "mongodb://<cosmosdb-name>:<password>@<cosmosdb-name>.documents.azure.cn:10255/?ssl=true&replicaSet=globaldb",
            "database": "myDatabase",
            "isServerVersionAbove32": "false"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集和链接服务。 Azure Cosmos DB for MongoDB 数据集支持以下属性：

示例

{
    "name": "CosmosDbMongoDBAPIDataset",
    "properties": {
        "type": "CosmosDbMongoDbApiCollection",
        "typeProperties": {
            "collectionName": "<collection name>"
        },
        "schema": [],
        "linkedServiceName":{
            "referenceName": "<Azure Cosmos DB for MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动属性

本部分列出 Azure Cosmos DB for MongoDB 源和接收器支持的属性。

有关可用于定义活动的各个部分和属性的完整列表，请参阅管道。

Azure Cosmos DB for MongoDB 作为源

复制活动 source 节支持以下属性：

示例

"activities":[
    {
        "name": "CopyFromCosmosDBMongoDBAPI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Cosmos DB for MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CosmosDbMongoDbApiSource",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Cosmos DB for MongoDB 作为接收器

复制活动 sink 节支持以下属性：

示例

"activities":[
    {
        "name": "CopyToCosmosDBMongoDBAPI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "CosmosDbMongoDbApiSink",
                "writeBehavior": "upsert"
            }
        }
    }
]

导入和导出 JSON 文档

使用此 Azure Cosmos DB 连接器，可以轻松地：

• 在两个 Azure Cosmos DB 集合之间按原样复制文档。
• 从各种源（包括 MongoDB、Azure Blob 存储和服务支持的其他基于文件的存储）将 JSON 文档导入 Azure Cosmos DB。
• 将 JSON 文档从 Azure Cosmos DB 集合导出到各种基于文件的存储。

若要实现“架构不可知”复制，请执行以下操作：

• 使用“复制数据”工具时，选择“按原样导出到 JSON 文件或 Azure Cosmos DB 集合”选项。
• 使用活动创作时，请为源或接收器选择 JSON 格式以及相应的文件存储。

架构映射

要将数据从 Azure Cosmos DB for MongoDB 复制到表格接收器或进行反向复制，请参阅架构映射。

具体而言，在写入到 Azure Cosmos DB 时，为了确保使用源数据中的正确对象 ID 填充 Azure Cosmos DB（例如，SQL 数据库表中包含一个“id”列，你想要使用该列的值作为 MongoDB 中的文档 ID 以完成插入/更新插入操作），需要根据 MongoDB 严格模式定义 (_id.$oid) 设置适当的架构映射，如下所示：

完成复制活动的执行后，接收器中将生成以下 BSON ObjectId：

{
    "_id": ObjectId("592e07800000000000000000")
}

相关内容

有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储。