Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
适用于:
Azure Data Factory
Azure Synapse Analytics
本文介绍Azure Data Factory中数据移动服务用于帮助保护数据的基本安全基础结构。 数据工厂管理资源基于Azure安全基础结构构建,使用Azure提供的所有可能安全措施。
在数据工厂解决方案中,可以创建一个或多个数据管道。 “管道”是共同执行一项任务的活动的逻辑分组。 这些管道位于创建数据工厂的区域。
尽管数据工厂仅在少数区域中可用,但数据移动服务在全球范围内可用,以确保数据符合性、高效和降低网络出口成本。
Azure Data Factory 包括 Azure 集成运行时和自承载集成运行时,不存储任何临时数据、缓存数据或日志,但云数据存储的链接服务凭据除外,这些凭据使用证书加密。 使用数据工厂可以创建数据驱动的工作流,协调受支持数据存储之间的数据移动,以及使用计算服务在其他区域或本地环境中处理数据。 还可以使用 SDK 和 Azure Monitor 监视和管理工作流。
数据工厂已获得以下认证:
| CSA STAR 认证 |
|---|
| ISO 20000-1:2011 |
| ISO 22301:2012 |
| ISO 27001:2013 |
| ISO 27017:2015 |
| ISO 27018:2014 |
| ISO 9001:2015 |
| SOC 1、2、3 |
| HIPAA BAA |
| HITRUST |
如果你有兴趣Azure合规性以及如何Azure保护其自己的基础结构,请访问 Azure 信任中心。 有关所有Azure合规性产品/服务的最新列表,请查看 - https://aka.ms/AzureCompliance。
在本文中,我们将查看以下两个数据移动方案中的安全注意事项:
- 云场景:在此场景中,源和目标都可通过 Internet 公开访问。 其中包括托管云存储服务,例如Azure Storage、Azure Synapse Analytics、Azure SQL Database、Amazon S3、Amazon Redshift、SaaS 服务(如 Salesforce)和 WEB 协议(如 FTP 和 OData)。 可以在支持的数据存储和格式中找到受支持数据源的完整列表。
- 混合场景:在此场景中,源或目标位于防火墙之后或本地公司网络中。 或者,数据存储位于专用网络或虚拟网络(通常是源)中,且不可公开访问。 虚拟机上托管的数据库服务器也属于这种情况。
注意事项
建议使用 Azure Az PowerShell 模块与Azure交互。 请参阅 Install Azure PowerShell 入门。 若要了解如何迁移到 Az PowerShell 模块,请参阅 Migrate Azure PowerShell从 AzureRM 迁移到 Az。
云场景
保护数据存储凭据
- 在Azure Data Factory托管存储中存储加密凭据。 数据工厂通过使用Azure管理的证书对其进行加密来帮助保护数据存储凭据。 这些证书每两年轮换一次(包括证书续订和凭据迁移)。 有关Azure Storage安全性的详细信息,请参阅 Azure Storage 安全概述。
- 存储Azure Key Vault中的凭据。 还可以将数据存储的凭据存储在 Azure Key Vault 中。 数据工厂在执行某个活动期间会检索该凭据。 有关详细信息,请参阅 在 Azure Key Vault 中存储凭据。
- 通过集中存储Azure Key Vault中的应用程序机密,可以控制其分发。 Key Vault大大减少了机密可能被意外泄露的可能性。 与其将连接字符串存储在应用程序代码中,不如将其安全地存储在 Key Vault 中。 应用程序可以使用 URI 安全访问其所需的信息。 这些 URI 允许应用程序检索特定版本的机密。 无需编写自定义代码来保护存储在Key Vault中的任何机密信息。
传输中的数据加密
如果云数据存储支持 HTTPS 或 TLS,则数据工厂中数据移动服务与云数据存储之间的所有数据传输均通过安全通道 HTTPS 或 TLS 进行。
注意事项
与 Azure SQL Database 和 Azure Synapse Analytics 的所有连接在数据传输至数据库或从数据库传出时都需要加密(SSL/TLS)。 使用 JSON 创建管道时,请在连接字符串中添加加密属性,并将其设置为 true。 对于 Azure Storage,可以在connection string中使用 HTTPS。
注意事项
若要在从 Oracle 数据库移动数据时启用传输中的加密,请遵循以下任一选项:
- 在 Oracle 服务器中,转到“Oracle 高级安全性(OAS)”并配置加密设置,该设置支持三重 DES 加密 (3DES) 和高级加密标准 (AES),请参阅此处了解详细信息。 ADF 会自动协商加密方法,以便在与 Oracle 建立连接时使用在 OAS 中配置的加密方法。
- 在 ADF 中,可以在连接字符串(链接服务)中添加 EncryptionMethod=1。 这将使用 SSL/TLS 作为加密方法。 若要使用此功能,需要在 Oracle 服务器端的 OAS 中禁用非 SSL 加密设置,以避免加密冲突。
注意事项
使用的 TLS 版本为 1.2。
静止数据加密
某些数据存储支持静态数据加密。 我们建议为这些数据存储启用数据加密机制。
Azure Synapse Analytics
Azure Synapse Analytics中的Transparent Data Encryption(TDE)通过对静态数据执行实时加密和解密来帮助防范恶意活动的威胁。 此行为对客户端透明。 有关详细信息,请参阅 在 Azure Synapse Analytics 中保护数据库。
Azure SQL Database
Azure SQL Database还支持透明数据加密(TDE),它通过对数据执行实时加密和解密来帮助防范恶意活动的威胁,而无需对应用程序进行更改。 此行为对客户端透明。 有关更多信息,请参阅 SQL 数据库和数据仓库的透明数据加密。
Azure Blob 存储和 Azure 表存储
Azure Blob 存储和 Azure 表存储支持存储服务加密(SSE),它会在数据保存到存储之前自动加密,并在检索时自动解密。 有关详细信息,请参阅 Azure 存储服务静止数据加密。
Amazon S3
Amazon S3 支持静态数据的客户端和服务器加密。 有关详细信息,请参阅使用加密保护数据。
Amazon Redshift
Amazon Redshift 支持静态数据的群集加密。 有关详细信息,请参阅 Amazon Redshift 数据库加密。
Salesforce
Salesforce 支持防火墙平台加密,它允许加密所有文件、附件和自定义字段。 有关详细信息,请参阅 Understanding the Web Server OAuth Authentication Flow(了解 Web 服务器 OAuth 身份验证流)。
混合场景
混合方案要求自承载集成运行时安装在本地网络、虚拟网络(Azure)或虚拟私有云(Amazon)内。 自承载集成运行时必须能够访问本地数据存储。 有关自承载集成运行时的详细信息,请参阅如何创建和配置自承载集成运行时。
使用命令通道可在数据工厂中的数据移动服务与自承载集成运行时之间通信。 通信包含与活动相关的信息。 数据信道用于在本地数据存储和云数据存储之间传输数据。
本地数据存储凭据
凭据可以存储在数据工厂中,或在运行时由数据工厂从 Azure Key Vault 引用。 如果将凭据存储在数据工厂中,则凭据会始终以加密方式存储在自承载集成运行时上。
在本地存储凭据。 如果在 JSON 中直接使用内联的连接字符串和凭据来调用 Set-AzDataFactoryV2LinkedService cmdlet,则链接服务会被加密并存储在自承载集成运行时中。 在这种情况下,凭据通过极其安全的Azure后端服务流向自托管的集成计算机,最终在该计算机上加密并存储。 自承载集成运行时使用 Windows DPAPI 加密敏感数据和凭据信息。
存储Azure Key Vault中的凭据。 还可以将数据存储的凭据存储在 Azure Key Vault 中。 数据工厂在执行某个活动期间会检索该凭据。 有关详细信息,请参阅 在 Azure Key Vault 中存储凭据。
本地存储凭据,而无需将凭据流经Azure后端到自承载集成运行时。 如果要在自承载集成运行时本地加密和存储凭据,而无需通过数据工厂后端流式传输凭据,请按照 Azure Data Factory 中本地数据存储的加密凭据中的步骤作。 所有连接器都支持此选项。 自承载集成运行时使用 Windows DPAPI 加密敏感数据和凭据信息。
使用 New-AzDataFactoryV2LinkedServiceEncryptedCredential cmdlet 可加密链接服务凭据和链接服务中的敏感信息。 然后,可以使用返回的 JSON(其中包含连接字符串中的 EncryptedCredential 元素),利用 Set-AzDataFactoryV2LinkedService cmdlet 创建一个链接服务。
在自承载集成运行时中加密链接服务时使用的端口
默认情况下,当启用从 Intranet 进行远程访问的功能时,PowerShell 会使用装有自承载集成运行时的计算机上的端口 8060 进行安全通信。 如有必要,可以从“设置”选项卡上的Integration Runtime Configuration Manager更改此端口:
传输中加密
所有数据传输都通过安全通道 HTTPS 和 TLS 通过 TCP 进行,以防止在与 Azure 服务通信期间发生中间人攻击。
还可以使用 IPsec VPN 或 Azure ExpressRoute 进一步保护本地网络与Azure之间的通信通道。
Azure Virtual Network是云中网络的逻辑表示形式。 可以通过设置 IPsec VPN(站点到站点)或 ExpressRoute(专用对等互连)将本地网络连接到虚拟网络。
下表根据混合数据移动的源和目标位置的不同组合,汇总了有关网络和自承载集成运行时的配置建议。
| Source | 目标 | 网络配置 | 集成运行时安装 |
|---|---|---|---|
| 本地 | 虚拟网络中部署的虚拟机和云服务 | IPsec VPN(点对端或端对端) | 自承载集成运行时应安装在虚拟网络中的 Azure 虚拟机上。 |
| 本地 | 虚拟网络中部署的虚拟机和云服务 | ExpressRoute(专用对等连接) | 自托管集成运行时应安装在虚拟网络中的 Azure 虚拟机上。 |
| 本地 | 具有公共终结点的基于Azure的服务 | ExpressRoute(Microsoft 对等互连) | 可以在本地或Azure虚拟机上安装自承载集成运行时。 |
下图显示了使用 ExpressRoute 和 IPsec VPN(通过 Azure 虚拟网络)在内部部署数据库和 Azure 服务之间移动数据的自托管集成运行时:
快速路由
IPsec VPN
防火墙配置和针对 IP 地址设置的允许列表
注意事项
您可能需要根据各个数据源的要求,在企业防火墙级别管理端口或为域名设置允许列表。 此表仅使用Azure SQL Database,Azure Synapse Analytics作为示例。
注意事项
有关通过 Azure Data Factory 的数据访问策略的详细信息,请参阅本文。
本地/专用网络的防火墙要求
在企业中,企业防火墙在组织的中央路由器上运行。 Windows防火墙在安装自承载集成运行时的本地计算机上作为守护程序运行。
下表提供了企业防火墙的出站端口和域要求:
| 域名 | 出站端口 | 说明 |
|---|---|---|
*.servicebus.chinacloudapi.cn |
443 | 自承载集成运行时需要用它来进行交互式创作。 |
{datafactory}.{region}.datafactory.azure.cn或 *.frontend.datamovement.azure.cn |
443 | 自承载集成运行时需要此端口才能连接到数据工厂服务。 对于新创建的数据工厂,请从自承载集成运行时密钥中找到 FQDN,格式为 {datafactory}.{region}.datafactory.azure.cn。 对于旧数据工厂,如果在自托管集成密钥中没有看到 FQDN,请使用“*.frontend.datamovement.azure.cn”作为替代。 |
download.microsoft.com |
443 | 下载更新时,自托管集成运行时需要使用这个端口。 如果已禁用自动更新,则可以跳过对此域的配置。 |
*.core.chinacloudapi.cn |
443 | 在使用分阶段复制功能时,自承载集成运行时用于连接到Azure存储帐户。 |
*.database.chinacloudapi.cn |
1433 | 仅当从Azure SQL Database或Azure Synapse Analytics复制或复制到Azure Synapse Analytics时是必需的,否则为可选。 使用暂存复制功能将数据复制到 SQL 数据库或Azure Synapse Analytics,而无需打开端口 1433。 |
注意事项
您可能需要根据各个数据源的要求,在企业防火墙级别管理端口或为域名设置允许列表。 此表仅使用Azure SQL Database,Azure Synapse Analytics作为示例。
下表提供了Windows防火墙的入站端口要求:
| 入站端口 | 说明 |
|---|---|
| 8060 (TCP) | PowerShell 加密 cmdlet,正如 Azure Data Factory 中所述,用于本地数据存储的加密凭据,以及凭据管理器应用程序用于在自托管集成运行时上安全设置本地数据存储凭据。 |
IP 配置和数据存储中设置的允许列表
云中的一些数据存储还要求你允许访问存储的计算机的 IP 地址。 确保已在防火墙中相应地允许或配置自承载集成运行时计算机的 IP 地址。
以下云数据存储要求允许自托管集成运行时计算机的 IP 地址。 默认情况下,其中一些数据存储可能不需要使用允许列表。
常见问题
是否可在不同的数据工厂之间共享自承载集成运行时?
是的。 此处提供了更多详细信息。
需要满足哪些端口要求才能让自承载集成运行时正常工作?
自托管集成运行时通过建立基于 HTTP 的连接来访问 Internet。 必须打开出站端口 443,才能让自承载集成运行时建立此连接。 仅在计算机级别(不是企业防火墙级别)为凭据管理器应用程序打开入站端口 8060。 如果Azure SQL Database或Azure Synapse Analytics用作源或目标,则还需要打开端口 1433。 有关详细信息,请参阅防火墙配置和针对 IP 地址设置的允许列表部分。
相关内容
有关 Azure Data Factory 数据复制活动性能的信息,请参阅 Copy 活动性能和优化指南。