使用 Azure 数据工厂 或 Synapse Analytics 从 MongoDB 复制数据或将数据复制到 MongoDB

适用于： Azure 数据工厂 Azure Synapse Analytics

本文介绍了如何在 Azure 数据工厂 和 Synapse Analytics 管道中使用复制活动，以从 MongoDB 数据库复制数据以及将数据复制到 MongoDB 数据库。 基于提供复制活动一般概述的复制活动概述一文。

支持的功能

该 MongoDB 连接器支持以下功能：

（1） Azure集成运行时 （2） 自承载集成运行时

有关支持的源和汇数据存储列表，请参见 支持的数据存储 表。

具体而言，此 MongoDB 连接器最高支持版本 4.2。 如果你的工作需要 4.2 以上的版本，请考虑使用带有 MongoDB Atlas 连接器的 MongoDB Atlas，它提供更全面的支持和功能。

先决条件

如果数据存储位于本地网络、Azure虚拟网络或 Amazon 虚拟私有云中，则需要配置自承载集成运行时以连接到它。

如果数据存储是托管的云数据服务，则可以使用Azure Integration Runtime。 如果访问仅限于防火墙规则中批准的 IP，则可以将 Azure Integration Runtime IP 添加到允许列表。

还可以在 Azure 数据工厂 中使用 托管虚拟网络集成运行时功能访问本地网络，而无需安装和配置自承载集成运行时。

要详细了解网络安全机制和数据工厂支持的选项，请参阅数据访问策略。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure 资源管理器 模板

通过使用界面创建与MongoDB相关的服务

使用以下步骤在 Azure 门户 UI 中创建到 MongoDB 的链接服务。

1. 在你的 Azure 数据工厂 或 Synapse 工作区中浏览“管理”标签，选择“关联服务”。 然后选择新：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索 MongoDB 并选择 MongoDB 连接器。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

对于适用于 MongoDB 连接器的 Data Factory 实体，以下部分提供了有关定义这些实体的属性的详细信息。

连接的服务属性

下表列出了MongoDB关联服务所支持的属性：

还可以在 Azure 密钥保管库 中存放连接字符串。 欲了解更多详情，请参见 Azure 密钥保管库 中的存储凭证。 |是的 | |数据库 |你想访问的数据库名称。 | 是 | | connectVia | 用于连接到数据存储区的 Integration Runtime。 若要了解详细信息，请参阅先决条件部分。 如果你没有指定这个属性，默认Azure Integration Runtime会被使用。 |不 |

示例：

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

关于可用于定义数据集的完整部分和属性列表，请参见 数据集和关联服务。 下表列出了MongoDB数据集所支持的属性：

示例：

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动 属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供了 MongoDB 源和接收器支持的属性的列表。

以 MongoDB 作为源

复制活动 源 部分支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB 作为接收器

复制活动的接收器部分支持以下属性：

示例

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

导入和导出 JSON 文档

使用此 MongoDB 连接器，您可以轻松地：

• 在两个 MongoDB 集合之间按原样复制文档。
• 将 JSON 文档从各种源导入 MongoDB，包括从 Azure Cosmos DB、Azure Blob 存储、Azure Data Lake Storage和其他支持的基于文件的存储。
• 将 JSON 文档从 MongoDB 集合导出到各种基于文件的存储。

若要实现这种架构不可知的复制，请跳过数据集中的“结构”（也称为“架构”）部分，以及复制活动中的架构映射。

MongoDB 的数据类型映射

当你从MongoDB复制数据时，服务会使用以下从MongoDB数据类型到临时数据类型的映射。 有关复制活动如何将源架构和数据类型映射到接收端的详细信息，请参阅 架构和数据类型映射。

MongoDB 连接器生命周期和升级

下表显示了不同版本的 MongoDB 连接器的发布阶段和更改日志：

升级 MongoDB 链接服务

创建新的 MongoDB 链接服务，并通过引用链接服务属性对其进行配置。

相关内容

为了获取复制活动支持的数据源和汇集列表，请参阅支持的数据存储。