使用 Azure 数据工厂或 Synapse Analytics 来复制和转换 Azure Database for MySQL 中的数据

适用于：Azure 数据工厂 Azure Synapse Analytics

本文概述了如何使用 Azure 数据工厂或 Synapse Analytics 管道中的复制活动从/向 Azure Database for MySQL 复制数据，以及如何使用数据流转换 Azure Database for MySQL 中的数据。 有关详细信息，请阅读 Azure 数据工厂和 Synapse Analytics 的简介文章。

此连接器专用于

• Azure Database for MySQL 单一服务器
• Azure Database for MySQL 灵活服务器

若要从位于本地或云中的通用 MySQL 数据库复制数据，请使用 MySQL 连接器。

先决条件

本快速入门需要下面提到的以下资源和配置作为起点：

• 具有公共访问或专用终结点的现有 Azure Database for MySQL 单一服务器或 MySQL 灵活服务器。
• 在 MySQL 服务器的网络页中“启用从 Azure 中的任何 Azure 服务到此服务器的公共访问”。 这样就可以使用数据工厂工作室。

支持的功能

此 Azure Database for MySQL 连接器支持以下功能：

① Azure 集成运行时 ② 自承载集成运行时

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 创建到 Azure Database for MySQL 的链接服务

使用以下步骤在 Azure 门户 UI 中创建一个到 Azure Database for MySQL 的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索“MySQL”，然后选择“Azure Database for MySQL 连接器”。

   

3. 配置服务详细信息、测试连接并创建新的链接服务。

   

连接器配置详细信息

对于特定于 Azure Database for MySQL 连接器的数据工厂实体，以下部分提供有关用于定义这些实体的属性的详细信息。

链接服务属性

Azure Database for MySQL 链接服务支持以下属性：

典型的连接字符串为 Server=<server>.mysql.database.chinacloudapi.cn;Port=<port>;Database=<database>;UID=<username>;PWD=<password>。 你可以根据自己的情况设置更多属性：

示例：

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.chinacloudapi.cn;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

示例：在 Azure 密钥保管库中存储密码

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.chinacloudapi.cn;Port=<port>;Database=<database>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Azure Database for MySQL 数据集支持的属性列表。

要从 Azure Database for MySQL 复制数据，请将数据集的 type 属性设置为 AzureMySqlTable。 支持以下属性：

示例

{
    "name": "AzureMySQLDataset",
    "properties": {
        "type": "AzureMySqlTable",
        "linkedServiceName": {
            "referenceName": "<Azure MySQL linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Azure Database for MySQL 源和接收器支持的属性列表。

Azure Database for MySQL 用作源

若要从 Azure Database for MySQL 复制数据，复制活动的 source 节需要支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureMySqlSource",
                "query": "<custom query e.g. SELECT * FROM MyTable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for MySQL 作为接收器

将数据复制到 Azure Database for MySQL 时，复制活动的 sink 节支持以下属性：

示例：

"activities":[
    {
        "name": "CopyToAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure MySQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureMySqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeBatchSize": 100000
            }
        }
    }
]

映射数据流属性

在转换映射数据流中的数据时，可以从 Azure Database for MySQL 读取表，并且可以将数据写入表。 有关详细信息，请参阅映射数据流中的源转换和接收器转换。 可以选择使用 Azure Database for MySQL 数据集或内联数据集作为源和接收器类型。

源转换

下表列出了 Azure Database for MySQL 源支持的属性。 可以在“源选项”选项卡中编辑这些属性。

Azure Database for MySQL 源脚本示例

在使用 Azure Database for MySQL 作为源类型时，关联的数据流脚本为：

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzureMySQLSource

接收器转换

下表列出了 Azure Database for MySQL 接收器支持的属性。 可以在“接收器选项”选项卡中编辑这些属性。

• 启用增量提取：使用此选项告知 ADF 仅处理自上次执行管道以来已更改的行。

• 增量列：使用增量提取功能时，必须选择要用作源表中水印的日期/时间或数字列。

• 从头开始读取：使用增量提取设置此选项将指示 ADF 在首次执行具有增量提取的管道时读取所有行。

Azure Database for MySQL 接收器脚本示例

在使用 Azure Database for MySQL 作为接收器类型时，关联的数据流脚本为：

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureMySQLSink

查找活动属性

若要了解有关属性的详细信息，请查看 Lookup 活动。

Azure Database for MySQL 的数据类型映射

从 Azure Database for MySQL 复制数据时，以下映射用于从 MySQL 数据类型映射到服务内部使用的临时数据类型。 若要了解复制活动如何将源架构和数据类型映射到接收器，请参阅架构和数据类型映射。

相关内容

有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储。