使用 Semarchy 和 Purview 进行数据治理

新式组织会生成大量数据,通常来自许多不同的源。 Semarchy Data Platform 是用于数据集成、主数据管理 (MDM)、参考数据管理 (RDM)、应用程序数据管理 (ADM)、数据集成、质量和治理的智能数据中心。 Semarchy 数据管理 (xDM) 为定义和实施数据管理应用程序并将其发布到生产环境带来了极大的灵活性。

此体系结构演示如何将主数据管理 (MDM) 包含在 Azure 生态系统中,并将其与 Microsoft Purview 相结合,以实现关键数据资产的治理。

体系结构

以下体系结构演示了 Semarchy xDM 与 Microsoft Purview 的集成数据流,用于进行数据治理。

Semarchy MDM 体系结构的屏幕截图。

数据流

元数据和数据流包括以下步骤:

  • 来自已标识的源系统的源数据集成:此集成是使用 Azure 数据工厂、Semarchy xDI(Semarchy 的数据集成组件)或集成解决方案构建的,并使用 Semarchy xDM 公开的 SQL 或 REST 终结点进行批量和实时集成。

  • Semarchy xDM 中的主数据管理

    • 数据经过扩充、标准化和验证来提高质量,使用规则、插件、AI 模型(如 Azure 机器学习和 Azure OpenAI)和第三方服务的组合。 Semarchy xDM 通过支持数据回收和集成用户更正来保持较高的数据质量,从而增强这些自动化质量流程。
    • 通过将高级自动化与用户输入混合,自动执行匹配、合并和存续过程,从而生成精确可靠的整合后黄金记录。
    • 用户访问完全自定义的数据管理应用程序,浏览、搜索、管理数据并使用数据驱动工作流进行协作。
  • 向使用者的操作和分析应用程序进行黄金数据分发,例如 Azure Synapse Analytics、Power BI、Azure 机器学习和 Azure OpenAI,确保跨平台不间断的集成和使用。 Semarchy xDM 提供内置的 SQL 和 REST 终结点,以及 Azure 服务总线中基于事件的传播的数据通知。

  • Semarchy xDM 元数据与 Microsoft Purview 同步,以获取整个主数据流的全面可见性和世系。

  • 为业务用户和数据管理员提供总体主数据流的完整可见性和世系,并将主数据产品作为目录和治理计划的一部分向组织公开。

组件

此体系结构涉及以下组件。

核心组件

  • Semarchy xDM 是一个无代码平台,它让数据团队可以快速开发自定义的主数据管理解决方案,为复杂数据生态系统提供广泛的功能。
  • Microsoft Purview 是一种数据治理解决方案,可全面洞察本地和云数据资产。 Semarchy xDM 与 Microsoft Purview 集成,提供对 Semarchy 数据中心的见解,作为数据产品和端到端主数据世系。
  • Semarchy Purview 连接器将来自 Semarchy 数据中心的元数据与 Microsoft Purview 同步,链接逻辑模型资产(即实体和特性)及其相应的物理资产(即表和列),从而启用端到端数据世系。

基础结构

  • Microsoft Entra ID,用于用户身份验证和单一登录 Semarchy 平台。
  • Azure Key Vault 是一项云服务,它为机密提供了安全的存储。 可以使用它加密、解密和存储 xDM 中使用的机密(例如密码)。

集成组件

  • Azure 数据工厂是混合数据集成服务。 可以将数据工厂用于 Semarchy 数据中心的入站和出站数据流。
  • Azure 服务总线是一个完全托管的企业消息代理,可用于通过内置数据通知传播 Semarchy 数据中心内发生的所有更改。

AI 组件

  • Azure 机器学习是一项用于加速和管理机器学习 (ML) 项目的云服务。 Semarchy xDM 可以在数据中心认证过程中使用自定义的 Azure 机器学习模型。
  • Azure OpenAI 是一套 AI 服务,提供对 OpenAI 强大语言模型的访问权限。 Semarchy xDM 包括使用这些语言模型来扩充和认证数据的内置插件,例如用于内容生成、摘要或翻译。

源和使用者系统

此外,此体系结构包括以下系统,通过它们可以收集要托管在 Semarchy xDM 中的主数据,或向其发送 Semarchy xDM 生成的黄金数据。

  • Azure Synapse Analytics 是一个快速、灵活且受信任的云数据仓库,它使用大规模并行处理体系结构。 Semarchy Data Hub 可充当 Azure Synapse 认证元数据的提供程序。
  • Power BI 是一项商业分析套件,可在整个组织中提供见解。 可以使用 Power BI 基于 Semarchy Discovery 指标和 Semarchy Data Hub 生成仪表板和报表。

场景详细信息

有效集成主数据管理 (MDM) 和数据治理工具对于努力在其运营中维护高质量、一致且安全的数据的组织至关重要。 Semarchy xDM 和 Microsoft Purview 的组合为全面的数据治理和主数据管理提供了强大的解决方案。

全面的数据治理和主数据管理

* 统一编录和治理

Microsoft Purview 的统一编录和发现功能会自动扫描、分类和映射数据,为组织提供其数据布局的全面视图。 与 Microsoft Purview 集成后,Semarchy xDM 会发布逻辑项目和物理工件的详细元数据,简化数据发现并促进对数据的信任:

  • Semarchy xDM 实例、数据位置、实体、特性和关系通过特定于 Semarchy 的资产类型转换为 Microsoft Purview 实体。
  • 进程为每个实体关联物理表并描述认证过程。
  • xDM 实体作为黄金记录数据整理到数据产品中。

此集成可确保用户能够轻松理解和使用高质量的数据以满足其分析和运营需求,从而提高总体数据治理和管理效率。

增强的数据世系和可追溯性

Microsoft Purview 的可靠数据世系跟踪功能说明了数据在不同系统中的移动和变化方式,以便清楚地了解数据历程。 与 Microsoft Purview 集成时,Semarchy xDM 利用此世系数据来深入了解主数据的起源和转换。 这种集成增强了透明度和可追溯性,确保组织全面了解其数据的历史和演变。

改进了数据质量和一致性

数据质量强制措施

Semarchy xDM 通过其数据扩充、标准化和验证功能将数据质量放在优先位置,确保数据准确、一致且可靠。 与 Microsoft Purview 集成时,Semarchy xDM 在所有数据资产之间扩展了这些质量的度量值,确保整个组织的数据布局的统一和可靠性。 此集成增强了整体数据质量、可靠性和一致性,从而使决策更加明智,运营效率更高。

整体数据治理

Microsoft Purview 在组织范围内建立和执行数据治理策略方面发挥着关键作用。 这可确保数据按照法规要求和内部标准进行管理和利用。 与 Semarchy xDM 无缝集成时,可以直接将这些治理策略应用于主数据管理流程。 此集成可确保在整个数据生命周期内维护合规性和治理原则,促进整个组织的数据完整性、安全性和法规合规性。

运营效率和可伸缩性

* 简化的数据集成和管理

Semarchy xDM 简化了来自不同源的主数据的集成和管理,确保数据资产的统一和全面视图。 与 Microsoft Purview 集成后,组织可以有效治理这些集成,确保数据流遵守治理策略,并针对效率和性能进行优化。 这种集成增强了数据管理功能,使组织能够充分利用其数据资产的潜力,同时保持治理和合规性标准。

可伸缩性和灵活性

Microsoft Purview 和 Semarchy xDM 都是为了适应组织不断发展的数据需求而构建的。 其可伸缩性可确保他们能够有效地增长数据量,并适应不断变化的业务需求。 通过无缝集成,组织受益于可缩放且灵活的数据管理和治理解决方案。 通过这种集成,他们能够应对当前和未来的数据挑战,同时保持效率和符合不断变化的业务需求。

增强协作和数据利用率

改进协作

Microsoft Purview 提供了一种集中式工具,用于有效数据治理,有助于团队之间无缝协作处理与数据相关的计划。 与 Semarchy xDM 集成后,通过高级数据管理和用户协作工具可进一步增强此协作。 这种集成可确保数据治理和主数据管理 (MDM) 紧密配合、协调有序,促进组织内数据治理计划之间的协同和效率。

最大化数据价值

通过将 Semarchy xDM 与 Microsoft Purview 集成,组织可确保为各种应用程序(包括分析、商业智能和运营用途)提供高质量、治理良好的主数据。 此集成可最大程度地提高从数据资产派生的价值,从而提高业务成果和实现更明智的决策流程。 最终,它使组织能够更有效地应用其数据资产,以推动增长、创新和竞争优势。

注意事项

Semarchy Data Platform 具有多项功能,可解决可靠性、安全性、成本优化、卓越运营和性能效率等问题。 有关卓越体系结构的详细信息,请参阅关于**体系结构良好的 Azure 框架的支柱**一文。

可靠性

可靠性可确保应用程序履行你对客户的承诺。 有关详细信息,请参阅可靠性支柱概述。

Semarchy xDM 以本机方式在 Azure Kubernetes 服务和 Azure SQL 数据库上运行,提供现成的功能来支持高可用性。

安全性

安全防护可保护有价值的数据和系统免受故意攻击和滥用。 有关详细信息,请参阅 Microsoft Learn 页面中的“安全性概述”。

Semarchy xDM 通过其标识管理层对用户进行身份验证,该层支持角色映射、查找和配置文件同步。 它为多个 IDP 提供本机支持,包括 Microsoft Entra ID。 它还包含细粒度特权等高级安全功能,可保护访问和操作安全。

性能效率

性能效率是系统缩放并有效地满足用户需求的功能。 有关详细信息,请参阅 Microsoft Learn 中的“性能效率”学习页面。

Semarchy xDM 以本机方式在 Azure Kubernetes 服务和 Azure SQL 数据库上运行。 可以配置 Azure Kubernetes 服务以进行纵向扩展和横向扩展。可以部署和配置 Azure SQL 数据库,以平衡性能、可伸缩性和成本。

成本优化

成本优化涉及寻找减少不必要的费用并提高运营效率的方法。 有关详细信息,请参阅 Microsoft Learn 中的“成本优化”学习页面。

运行成本包括 Semarchy 软件订阅许可证和 Azure 使用情况。 有关详细信息,请联系 Semarchy。

部署此方案

有关在 Azure 中部署 Semarchy 数据管理实例的详细说明,请参阅 Semarchy 的文档。

要部署此方案,请执行以下操作:

  1. 使用 Azure Kubernetes 服务部署 Semarchy xDM。
  2. 配置机密管理以使用 Azure Key Vault。
  3. 使用 Microsoft Entra ID 配置身份验证。
  4. 在 xDM 中设计和部署自定义的主数据模型
  5. 使用 Azure 数据工厂将数据集成到 xDM 中。

本文档的供稿人

  • David Cox
  • Cedric Blanc
  • François-Xavier Nicolas (FX)

参考文档