现代组织会生成大量数据，这些数据通常来自许多不同的源。 Semarchy Data Platform 是用于数据集成、主数据管理 (MDM)、参考数据管理 (RDM)、应用程序数据管理 (ADM)、数据集成、质量和治理的智能数据中心。 Semarchy 数据管理 (xDM) 为定义和实施数据管理应用程序并将其发布到生产环境带来了极大的灵活性。
此体系结构演示了如何将主数据管理 (MDM) 纳入 Azure 生态系统，以实现关键数据资产的质量、验证、匹配、重复数据删除、创作、策展和协作。
体系结构
以下体系结构说明了 Semarchy xDM 体系结构和数据流。
数据流
元数据和数据流包括以下步骤：
从标识的源系统进行源数据集成：
- 该集成可使用 Azure 数据工厂、Semarchy xDI（Semarchy 的数据集成组件）或你自己的集成解决方案。
- semarchy xDM 公开用于批量集成和实时集成的 SQL 或 REST 终结点。
- 传入数据可使用 Semarchy xDM Discovery 进行分析，经审查后可帮助定义主数据模型结构和规则。
- 应用程序也可随时使用 REST 终结点与 xDM 中托管的主数据进行交互（读/写），并将 xDM 用作其主数据后端。
自动数据认证
- 通过规则、插件、AI 模型（包括 Azure 机器学习和 Azure OpenAI）和第三方服务的组合，对数据进行扩充、标准化和质量验证。 Semarchy xDM 通过数据回收支持这些自动质量过程，并纳入用户更正以确保最佳数据质量。
- 通过将先进的自动化与用户的明智决策相结合，自动执行匹配、合并和存留过程，从而生成准确、可靠的黄金综合记录。
- 认证过程生成的黄金记录具有完整的源系统世系、用户变更跟踪和可选的历史记录。 这可以保证数据完整性、可跟踪性和全面的历史记录跟踪。
用户可以使用自定义数据管理应用程序：
- 通过 Microsoft Entra ID 进行身份验证，
- 浏览和搜索经过认证的数据，这些数据可以在每个认证阶段完整跟踪，同时还有全面的历史记录，
- 管理和策展数据：
- 用户可以创作和导入新数据，
- 查看并修复错误，
- 使用替代选项手动匹配和合并记录，
- 并根据需要执行软删除或硬删除，
- 利用数据驱动的工作流进行协作。
向使用者的操作和分析应用程序进行黄金数据分发，例如 Azure Synapse Analytics、Power BI、Azure 机器学习和 Azure OpenAI，确保跨平台不间断的集成和使用：
- 该集成使用 Azure 数据工厂、Semarchy xDI 或你自己的集成解决方案。
- Semarchy xDM 提供内置的 SQL 和 REST 终结点，以及 Azure 服务总线中基于事件的传播的数据通知。
将 xDM 元数据与 Microsoft Purview 同步，以获取整个主数据流的全面可见性和世系。
组件
此体系结构涉及以下组件。
核心组件
- Semarchy xDM 是一个无代码平台，可帮助数据团队快速开发自定义的主数据管理解决方案，为复杂数据生态系统提供广泛的功能。
- Microsoft Entra ID，用于用户身份验证和单一登录 Semarchy 平台。
- Azure Key Vault 是一项云服务，可为机密提供安全的存储。 可以使用它来加密、解密和存储 xDM 中使用的机密（例如密码）。
AI 组件
- Azure 机器学习是一项用于加速和管理机器学习 (ML) 项目的云服务。 Semarchy xDM 可以在数据中心认证过程中使用自定义的 Azure 机器学习模型。
- Azure OpenAI 是一套 AI 服务，提供对 OpenAI 强大语言模型的访问权限。 Semarchy xDM 包括使用这些语言模型来扩充和认证数据的内置插件，例如用于内容生成、摘要或翻译。
治理组件
- Microsoft Purview 是一种数据治理解决方案，可全面洞察本地和云数据资产。 Semarchy xDM 与 Microsoft Purview 集成，提供对作为数据产品的 Semarchy Data Hub 和端到端主数据世系的见解。
源和使用者系统 此外，此体系结构包括以下系统，可以从这些系统中收集主数据以便在 Semarchy xDM 中进行管理，或向这些系统发送 Semarchy xDM 生成的黄金数据。
- Azure Synapse Analytics 是一个快速、灵活且受信任的云数据仓库，它使用大规模并行处理体系结构。 Semarchy Data Hub 可充当 Azure Synapse 认证元数据的提供程序。
- Power BI 是一项商业分析套件，可在整个组织中提供见解。 可以使用 Power BI 基于 Semarchy Discovery 指标和 Semarchy Data Hub 生成仪表板和报表。
场景详细信息
数据驱动型计划（如数字化转型、商业智能或 AI 项目）需要准确且可信的数据。 主数据管理是提供这种干净、准确数据的重要步骤。
MDM 解决方案的一个常见用例是合并来自多个源的主数据，同时允许协作创作和管理这些主数据，以便为分析和操作应用程序提供黄金数据。
设计数据应用程序
Semarchy xDM 数据管理应用程序为所有用户提供了用于访问和管理其数据的自定义体验。 通过这些应用程序，主数据记录可显示在完全可自定义的界面中，支持数据管理、创作和管理操作。 具有不同职位和角色的用户在数据驱动工作流中协作管理数据。 Semarchy xDM 的强大之处在于可以灵活设计数据应用程序，使其适应用户的领域、组织和业务需求。
集成并认证主数据
在客户关系管理 (CRM)、企业资源规划 (ERP) 等外部源系统或其他系统（称为发布者）中策展的数据，通过集成层（如 Azure 数据工厂或 Semarchy xDI）推送到 Semarchy xDM 的数据中心。
当数据通过数据加载或创作在数据中心出现更改时，数据会通过整个认证流程，在此过程中，数据会进行扩充、标准化、验证以符合数据质量，然后生成匹配和合并的记录。
使用中心的数据
可以使用 REST API 终结点或通过 SQL 将数据推送到 Semarchy xDM 或使用 Semarchy xDM 的数据。 通过数据中心对数据所做的更改还可以使用数据通知实时传播到下游系统。
注意事项
Semarchy Data Platform 具有多项功能，可解决可靠性、安全性、成本优化、卓越运营和性能效率等问题。 有关卓越体系结构的详细信息，请参阅关于**体系结构良好的 Azure 框架的支柱**一文。
可靠性
可靠性可确保应用程序履行你对客户的承诺。 有关详细信息，请参阅可靠性支柱概述。
Semarchy xDM 以本机方式在 Azure Kubernetes 服务和 Azure SQL 数据库上运行，提供现成的功能来支持高可用性。
安全性
安全防护可保护有价值的数据和系统免受故意攻击和滥用。 有关详细信息，请参阅 Microsoft Learn 页面中的“安全性概述”。
Semarchy xDM 通过其标识管理层对用户进行身份验证，该层支持角色映射、查找和配置文件同步。 它为多个 IDP 提供本机支持，包括 Microsoft Entra ID。 它还包含细粒度特权等高级安全功能，可保护访问和操作安全。
性能效率
性能效率是系统缩放并有效地满足用户需求的功能。 有关详细信息，请参阅 Microsoft Learn 中的“性能效率”学习页面。
Semarchy xDM 以本机方式在 Azure Kubernetes 服务和 Azure SQL 数据库上运行。 可以配置 Azure Kubernetes 服务以进行纵向扩展和横向扩展。可以部署和配置 Azure SQL 数据库，以平衡性能、可伸缩性和成本。
成本优化
成本优化涉及寻找减少不必要的费用并提高运营效率的方法。 有关详细信息，请参阅 Microsoft Learn 中的“成本优化”学习页面。
运行成本包括 Semarchy 软件订阅许可证和 Azure 使用情况。 有关详细信息，请联系 Semarchy。
部署此方案
要部署此方案，请执行以下操作：
- 使用 Azure Kubernetes 服务部署 Semarchy xDM。
- 配置机密管理以使用 Azure Key Vault。
- 使用 Microsoft Entra ID 配置身份验证。
- 在 xDM 中设计和部署自定义的主数据模型
- 使用 Azure 数据工厂将数据集成到 xDM 中。
本文档的供稿人
- David Cox
- Cedric Blanc
- François-Xavier Nicolas (FX)