使用 Azure 数据工厂 或 Synapse Analytics 从/向 MongoDB 复制数据

适用于： Azure 数据工厂 Azure Synapse Analytics

本文概述了如何使用 Azure 数据工厂 Synapse Analytics 管道中的复制活动来复制来自和输送至 MongoDB 数据库的数据。 基于提供复制活动一般概述的复制活动概述一文。

支持的功能

此 MongoDB 连接器支持以下功能：

（1） Azure集成运行时 （2） 自承载集成运行时

如需可以用作源/接收器的数据存储的列表，请参阅支持的数据存储表。

具体而言，此 MongoDB 连接器最高支持版本 4.2。 如果你的工作需要 4.2 以上的版本，请考虑使用带有 MongoDB Atlas 连接器的 MongoDB Atlas，它提供更全面的支持和功能。

先决条件

如果数据存储位于本地网络、Azure虚拟网络或 Amazon 虚拟私有云中，则需要配置自承载集成运行时以连接到它。

如果数据存储是托管的云数据服务，则可以使用Azure Integration Runtime。 如果访问仅限于防火墙规则中批准的 IP，则可以将 Azure Integration Runtime IP 添加到允许列表。

还可以在 Azure 数据工厂 中使用 托管虚拟网络集成运行时功能访问本地网络，而无需安装和配置自承载集成运行时。

要详细了解网络安全机制和数据工厂支持的选项，请参阅数据访问策略。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure 资源管理器 模板

使用 UI 创建一个到 MongoDB 的链接服务

使用以下步骤在 Azure 门户 UI 中创建到 MongoDB 的链接服务。

1. 浏览到Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索 MongoDB 并选择 MongoDB 连接器。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

对于适用于 MongoDB 连接器的 Data Factory 实体，以下部分提供了有关定义这些实体的属性的详细信息。

连接的服务属性

MongoDB 链接的服务支持以下属性：

示例：

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集和链接服务。 MongoDB 数据集支持以下属性：

示例：

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动 属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供了 MongoDB 源和接收器支持的属性的列表。

以 MongoDB 作为源

复制活动source部分支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB 作为接收器

复制操作 sink 节支持以下属性：

示例

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

导入和导出 JSON 文档

可以使用此 MongoDB 连接器轻松完成以下操作：

• 在两个 MongoDB 集合之间按原样复制文档。
• 将 JSON 文档从各种源导入 MongoDB，包括从 Azure Cosmos DB、Azure Blob 存储、Azure Data Lake Storage和其他支持的基于文件的存储。
• 将 JSON 文档从 MongoDB 集合导出到各种基于文件的存储。

若要实现这种架构不可知的复制，请跳过数据集中的“结构”（也称为“架构”）部分，以及复制活动中的架构映射。

MongoDB 的数据类型映射

从 MongoDB 复制数据时，以下映射将 MongoDB 数据类型转换为服务内部使用的临时数据类型。 若要了解复制活动如何将源架构和数据类型映射到接收器，请参阅架构和数据类型映射。

MongoDB 连接器生命周期和升级

下表显示了不同版本的 MongoDB 连接器的发布阶段和更改日志：

升级 MongoDB 链接服务

创建新的 MongoDB 链接服务，并通过引用链接服务属性对其进行配置。

相关内容

为了获取复制活动支持的数据源和汇集列表，请参阅支持的数据存储。