Microsoft Purview - Profisee MDM 集成
主数据管理 (MDM) 是所有统一数据治理解决方案的关键支柱。 Microsoft Purview 支持与合作伙伴 Profisee 一起进行主数据管理。 本教程将参考和集成部署材料编译汇总;首先将 Microsoft Purview 统一数据治理和 MDM 置于 Azure 数据资产的上下文中;更重要的是,通过我们与 Profisee 的集成,帮助你使用 Microsoft Purview 开启 MDM 之旅。
为什么数据治理和主数据管理 (MDM) 对新式数据资产至关重要?
所有组织都有多个数据源,组织越大,数据源的数量就越多。 通常,会有 ERP、CRM、旧版应用程序、这些应用程序的区域版本、外部数据馈送等。 这些企业中的大多数都在应用程序、存储系统、分析系统以及组织内的各部门之间移动大量数据。 在移动过程中,且随着时间的推移,数据可能会复制或碎片化,并过时或过期。 因此,使用此数据来促进业务见解时,准确度就成了一个问题。
不可避免地,在不同“孤岛”中创建的具有不同(或没有)治理标准以满足各自应用程序需求的数据总是会出现问题。 查看从这些应用程序中提取的数据时,会发现其在数据标准化方面是不一致的。 通常,值本身存在许多不一致,而且大多数情况下,单个记录是不完整的。 事实上,如果这些不一致不是事实,那才令人惊讶,但这确实带来了一个问题。 我们需要的是完整、一致且准确的数据。
为了保护组织中的数据质量,主数据管理 (MDM) 作为一个规则可为企业数据创建真实来源,以便组织可以检查和验证其关键资产。 这些关键资产或主数据资产是为企业提供上下文的关键记录。 例如,主数据可能包括有关特定产品、员工、客户、财务结构、供应商或位置的信息。 主数据管理通过维护权威的、整合的、消除重复的主数据记录集,确保整个组织的数据质量,并确保数据在整个组织的完整数据资产中保持一致。
例如,公司可能很难有明确的客户单一视图。 系统之间的客户数据可能有所不同,由于输入不正确,可能会有重复记录,或者因名称、地址或其他属性差异同,发货和客户服务系统也有所不同。 主数据管理合并并标准化有关客户的所有这些不同信息。 此标准化过程可能涉及自动或用户定义的规则、验证和检查。 MDM 系统的工作是确保数据在这些规则的框架内始终保持一致。 这不仅可以通过消除各部门不匹配的数据来提高数据质量,还可确保针对商业智能 (BI) 和其他应用程序进行分析的数据是可信的且最新的,通过删除整个组织中的重复记录可减少数据负载,并简化业务系统之间的通信。
如果想使用数据来推动业务见解力和运营效率,或推动任何形式的“数字化转型”,合并来自多个不同系统的数据的能力是关键。 在这种情况下,我们需要的是随时可用的高质量、可信数据,无论是用于基本企业指标还是高级 AI 算法。 弥合这一差距是数据治理和 MDM 的工作,在 Azure 世界中,则指 Microsoft Purview 和 Profisee MDM。
治理系统可定义数据标准,但 MDM 用于强制实施这些标准。 可以匹配和合并来自不同系统的数据,根据数据质量和治理标准进行验证,并在需要时进行修正。 然后,新的已更正和验证的“主”数据可以共享给下游分析系统,并返回源系统以推动改善运营。 通过正确创建和维护企业主数据,我们可确保数据不再是一种责任和担忧,而是一种能够改善运营和创新的业务资产。
有关 Profisee MDM 和 Profisee-Purview MDM 概念和 Azure 体系结构的更多详细信息。
Microsoft Purview 和 Profisee MDM - 两者结合会更好!
由于解决方案的互补性,Microsoft Purview 和 Profisee MDM 经常被认为具有“两者结合会更好”的价值主张。 Microsoft Purview 擅长对数据源进行编目和定义数据标准,而 Profisee MDM 跨从多个孤立源提取的主数据强制实施这些标准。 很明显,这两个系统不仅都具有独立的价值,而且还可以相互强化,以实现比独立产品/服务更深入的“两者结合会更好”自然协同作用。
通用技术基础 – Profisee 诞生于使用通用工具、数据库和基础结构的 Microsoft 技术,因此所有“Microsoft 商店”都会对 Profisee 解决方案感到熟悉。 事实上,多年来,Profisee MDM 都是基于 Microsoft 主数据服务 (MDS) 构建的,而现在 MDS 生命周期即将结束,Profisee 是 MDS 的首要升级/替换解决方案。
开发人员协作和联合开发 – Profisee 和 Microsoft Purview 开发人员进行了广泛的协作,以确保其各自解决方案之间的良好互补性,从而提供满足客户需求的无缝集成。
联合销售和部署 – Profisee 在 Azure 上以及与 Microsoft Purview 联合部署的 MDM 比任何其他 MDM 供应商都要多,并且可以通过 Azure 市场购买。 在 2023 财年,Profisee 是唯一一家拥有顶级 Microsoft 合作伙伴认证的 MDM 供应商,通过 Azure 市场以 IaaS/CaaS 或 SaaS 产品/服务的形式提供。
快速可靠的部署 – 快速可靠的部署对于任何企业软件都至关重要,Gartner 指出,Profisee 在 90 天内可完成的实现比任何其他 MDM 供应商都要多。
固有的多域 – Profisee 为 MDM 提供多域方法,其中对主数据域的具体数量没有限制。 此设计非常适合希望对其数据资产进行现代化处理的客户,他们可能最开始只有有限数量的域,但将最终受益于在整个数据资产中最大化域覆盖范围(与其数据治理覆盖范围相匹配)。
专为 Azure 设计 – Profisee 专为云原生设计,可在 Azure 上进行 SaaS 和托管 IaaS/CaaS 部署(请参阅下一部分)
提示
利用 Profisee 的 MDS 迁移实用工具,从 Microsoft MDS(主数据服务)一键升级
Profisee MDM:部署灵活性 – 统包式 SaaS 体验或 IaaS/CaaS 灵活性
Profisee MDM 专为云原生体验而设计,可通过两种方式部署在 Azure:SaaS 和 Azure IaaS/CaaS/Kubernetes 群集。
统包式 SaaS 体验
由 Profisee 托管在 Azure 云中的 Profisee MDM 的完全托管实例。 完全统包服务可实现最简单、最快速的 MDM 部署。 可以在 Azure 市场 Profisee SaaS Enterprise 主数据管理中购买 Profisee MDM SaaS。
- 集平台和管理于一体 – 使用真正的端到端 SaaS 平台,只需一份协议,无需第三方。
- 行业领先的云服务 – 托管在 Azure 上,以实现行业领先的可伸缩性和可用性。
- 受信任数据的最快路径 – 用最少的技术知识在几分钟内完成部署。 将网络、防火墙和存储交给我们,以便你可以在几分钟内完成部署。
终极 IaaS/CaaS 灵活性
在 Azure Kubernetes 服务使用最有效且维护成本较低的选项来实现完全部署灵活性和控制,充当客户托管的完全托管 IaaS/CaaS(容器即服务)部署。 下面的“Microsoft Purview - Azure Kubernetes 服务 (AKS) 上的 Profisee 集成部署”部分详细介绍了此部署路线。
- 新式云体系结构 - 作为容器化 Kubernetes 服务提供的平台。
- 十足的灵活性和自治性 - 在 Azure 中提供或在本地提供。
- 快速部署,易于维护 - 100% 容器化配置简化了补丁和升级。
有关 新式云体系结构的 Profisee MDM 权益、Azure 上的 Profisee MDM 及其最适合 Azure 部署的原因的更多详细信息!
Microsoft Purview - Profisee 参考体系结构
参考体系结构展示了 Microsoft Purview 和 Profisee MDM 如何协同工作来为 Azure 数据资产提供高质量的受信任数据基础。 同时提供一个简短的视频演练。
- 对 LOB 系统中的元数据进行扫描和分类 – 使用预建的 Microsoft Purview 连接器扫描数据源并填充 Microsoft Purview 数据目录
- 将主数据模型发布到 Microsoft Purview – 在 Profisee MDM 中创建的任何主数据实体都会无缝发布到 Microsoft Purview 中,以进一步填充 Microsoft Purview 数据目录并确保 Microsoft Purview 能够“了解”此关键数据源
- 用治理详细信息扩充主数据模型 – 治理数据专员可以在 Microsoft Purview 中用数据字典、词汇表信息以及所有权和敏感数据分类等扩充主数据实体定义
- 为数据管理应用扩充的治理数据 – Microsoft Purview 中可用的任何定义和元数据在 Profisee 中实时可见,作为 MDM 数据专员的指导
- 从业务应用程序加载源数据 – Azure 数据工厂使用 100 多个预生成的连接器和/或 REST 网关从源系统中提取数据
- 事务性和非结构化数据加载到下游分析解决方案 - 所有“原始”源数据都可以加载到 Synapse 之类的分析数据库(Synapse 通常是首选的分析数据库)。 由于数据重叠、不匹配和冲突尚未得到解决,因此在没有适当的主(“黄金”)数据的情况下,对这些原始信息的分析将不准确。
- 源系统中的主数据加载到 Profisee MDM 应用程序 – 多个“主”数据流被加载到 Profisee MDM。 主数据是定义域实体(例如客户、产品、资产、位置、供应商、患者、家庭、菜单项、成分等)的数据。 此数据通常存在于多个系统中并解析不同的定义,跨系统匹配和合并这些数据对于以有意义的方式使用任何跨系统数据至关重要。
- 主数据根据治理规则进行标准化、匹配、合并、扩充和验证 – 尽管数据质量和治理规则可能在其他系统(例如 Microsoft Purview)中定义,但 Profisee MDM 用于强制实施这些内容。 源记录在源系统内和源系统之间进行匹配和合并,以创建尽可能完整和正确的记录。 数据质量规则检查每条记录是否符合业务和技术要求。
- 额外的数据管理,以根据需要审查和确认匹配情况、数据质量和数据验证问题 – 任何未通过验证或匹配概率分数较低的记录都需要进行修正。 为了修正失败的验证,工作流过程会将需要审查的记录分配给作为其业务数据领域专家的数据专员。 记录得到验证或更正后,它们就可以用作“黄金记录”母版了。
- 直接访问特选主数据,包括在 Power BI 中报告的安全数据访问 – Power BI 用户可以通过专用的 Power BI 连接器直接报告主数据,该连接器可识别并强制实施基于角色的安全性,并且为简单起见,可隐藏各种系统字段。
- 高质量的特选主数据发布到下游分析解决方案 – 可以使用 Azure 数据工厂将经验证的主数据发布到任何目标系统。 主数据,包括发布到 Azure Synapse(或加载“原始”源事务数据的任何位置)的合并记录的父子世系。 通过适当特选的主数据和事务数据的组合,我们具有了可靠的受信任数据基础,可用于进一步分析。
- 高质量主数据的可视化和分析可消除常见的数据质量问题并提供改进的见解 – 无论用于分析的工具如何(包括机器学习和可视化),精选的主数据构成了更好、更可靠的数据基础。 另一种方法是使用你可以获取的任何信息,但会冒着误导结果、损害业务的风险。
参考体系结构指南/参考文档
- 使用 Profisee 和 Microsoft Purview 治理数据
- 使用 ADF Azure 数据工厂、Azure Synapse Analytics 和 Power BI 操作 Profisee
- Azure 上的 MDM 概述
Microsoft Purview - Azure Kubernetes 服务 (AKS) 上的 Profisee 集成部署
通过提出 https://support.profisee.com/ 的支持票证从 Profisee 获取许可证文件。 此步骤的唯一先决条件是,需要预先确定 Profisee 在 Azure 上设置的 DNS 解析 URL。 即,保留部署中所使用负载均衡器的 DNS 主机名。 它类似于 "[profisee_name].[region].chinacloudapp.cn"。 例如,DNSHOSTNAME="purviewprofisee.chinanorth3.chinacloudapp.cn"。 在提出支持票证时,请向 Profisee 支持提供此 DNSHOSTNAME,并且 Profisee 将使用许可证文件进行还原。 在下一个配置步骤中,需要提供此文件。
在 Azure 中创建用户分配的托管标识。 必须创建托管标识才能运行部署。 部署完成后,可以删除托管标识。 根据 ARM 模板选项,需要将以下某些或全部角色和权限分配给托管标识:
- 将部署 AKS 的资源组的参与者角色。 可以直接将它分配给资源组,也可以分配给订阅级别和更低级别。
- 将创建条目的特定 DNS 区域的 DNS 区域参与者角色,或 DNS 区域资源组的参与者角色。 仅当更新 Azure 中托管的 DNS 时,才需要此 DNS 角色。
- Microsoft Entra ID 中的应用程序管理员角色,因此可以分配应用程序注册所需的权限。
- 订阅级别的托管标识参与者和用户访问管理员。 需要 ARM 模板托管标识才能创建密钥保管库特定托管标识,该标识将由 Profisee 用来拉取存储在密钥保管库中的值。
创建应用程序注册,在安装 Profisee 后作为登录标识。 它需要是 Microsoft Entra ID 的一部分,该 ID 将用于登录到 Profisee。 保存应用程序(客户端)ID 供以后使用。
- 设置身份验证以匹配以下设置:
- 支持 ID 令牌(用于隐式和混合流)
- 将重定向 URL 设置为 https://<your-deployment-url>/profisee/auth/signin-microsoft
- 你的部署 URL 是在步骤 1 中提供给 Profisee 的 URL
- 设置身份验证以匹配以下设置:
创建一个服务主体,Microsoft Purview 将在此 Profisee 部署期间使用它自行执行一些操作。 若要创建服务主体,请像在上一步中一样创建应用程序,然后创建应用程序密码。 保存应用程序的对象 ID,以及创建的密钥的值供以后使用。
- 向此服务主体(使用名称或对象 ID 来定位)授予对你的 Microsoft Purview 帐户根集合的“数据管护者”权限。
转到 https://github.com/Profisee/kubernetes 并选择 Microsoft Purview Azure ARM。
- ARM 模板将使用入口控制器在负载均衡的 AKS(Azure Kubernetes 服务)基础结构上部署 Profisee。
- 自述文件包括故障排除步骤。
- 仔细阅读所有步骤并排查 Wiki 页面问题。
选择“部署到 Azure”
- 配置器向导将请求输入,如下所示 - 使用 ARM 模板部署 AKS 群集
- 在步骤 1 中授予托管标识权限时,请确保在部署中提供完全相同的 RG(资源组)。
部署完成后,选择 Microsoft Purview“转到资源组”并打开 Profisee AKS 群集。
典型的 Microsoft Purview 阶段 - Profisee 部署运行
在“基本信息”页上,选择之前创建的用户分配的托管标识来部署资源。
对于 Profisee 配置,可以将信息存储在 Key Vault 中,或在部署期间提供详细信息。
- 选择你的 Profisee 版本,提供管理员用户帐户和许可证。
- 选择以使用 Microsoft Purview 进行配置。
- 对于“应用程序注册客户端 ID”,请为之前创建的应用程序注册提供应用程序(客户端)ID。
- 选择你的 Microsoft Purview 帐户。
- 添加之前创建的服务主体的对象 ID。
- 添加为该服务主体创建的密钥的值。
- 为 Web 应用程序命名。
在“Kubernetes”页上,可根据需要选择较旧版本的 Kubernetes,但请将字段留空以部署最新版本。
提示
在大多数情况下,将版本字段留空就足够了,除非有理由需要专门使用较旧版本的 Kubernetes AKS 进行部署。
在 SQL 配置页上,可以选择部署新的 Azure SQL Server,也可以使用现有 Azure SQL Server。 你将提供用于此部署的登录详细信息和数据库名称。
在存储配置页上,可以选择创建新的存储帐户或使用现有存储帐户。 如果选择现有帐户,则需要提供访问密钥和现有文件共享的名称。
在网络配置页上,选择使用默认 Azure DNS 或提供你自己的 DNS 主机名。
提示
建议使用“是的,使用默认 Azure DNS”配置。 选择“是”,部署程序会自动创建 HTTP/TLS 的 Let's Encrypt 证书。 如果选择“否”,则需要提供各种网络配置参数和自己的 HTTPS/TLS 证书。
警告
默认 Azure DNS URL(例如 URL="https://purviewprofisee.chinanorth3.chinacloudapp.cn/profisee") 将由 ARM 模板部署向导从 Profisee 提供的许可证文件中获取。 如果打算进行更改而不使用默认的 Azure DNS,请确保将完整的 DNS 和 Profisee DNS 的完全限定 URL 传达给 Profisee 支持团队,以便他们可以重新生成并提供更新的许可证文件。 否则将导致 Profisee 安装出现故障。
在“查看 + 创建”页上,查看详细信息,以确保它们是正确的,同时向导会验证你的配置。 通过验证后,选择“创建”。
需要大约 45-50 分钟此部署才能完成安装 Profisee。 在部署期间,你将看到正在进行的方面,并且可以刷新页面以查看进度。 全部完成后,部署将显示为完成。 完成“InstallProfiseePlatform”阶段还表示部署已完成!
部署完成后,打开在其中部署集成的资源组。
在“输出”下,获取最终部署 URL。 需要在浏览器地址栏上粘贴最终 WEBURL,然后开始享受 Profisee-Purview 集成! 获取许可证文件时,你提供给 Profisee 支持的 URL 将与此 URL 相同。 除非选择更改 URL 格式,否则其类似于 "https://[profisee_name].[region].chinacloudapp.cn/profisee/"
通过安装 FastApp,将数据填充并水化到新安装的 Profisee 环境中。 转到 Profisee 部署 URL,然后选择“/Profisee/api/client”。 它应该类似于 - "https://[profisee_name].[region].chinacloudapp.cn/profisee/api/client"。 选择“Profisee FastApp 工作室”实用工具和“Profisee Platform 工具”的下载链接。 在本地客户端计算机上安装这两个工具。
登录 FastApp 工作室,并执行 Profisee 的 MDM 管理和配置管理的其余部分。 使用安装期间提供的管理员电子邮件地址登录后,应能够在 Profisee FastApp 工作室的左侧窗格中看到管理菜单。 导航到这些菜单,使用 FastApp 工具执行 MDM 旅程的其余部分。 若能够看到如下图所示的管理菜单,则可确认已在 Azure 平台上成功安装 Profisee。
为了确保成功进行安装并检查 Profisee 是否已成功连接到 Microsoft Purview 实例,请完成最后的验证步骤,即转到 /Profisee/api/governance/health。它应该类似于“https://[profisee_name].[region].chinacloudapp.cn//Profisee/api/governance/health”。 输出响应将针对所有 Microsoft Purview 子系统指示“"Status": "Healthy"”。
{
"OverallStatus": "Healthy",
"TotalCheckDuration": "0:XXXXXXX",
"DependencyHealthChecks": {
"purview_service_health_check": {
"Status": "Healthy",
"Duration": "00:00:NNNN",
"Description": "Successfully connected to Purview."
},
"governance_service_health_check": {
"Status": "Healthy",
"Duration": "00:00:NNNN",
"Description": "Purview cache loaded successfully.
Total assets: NNN; Instances: 1; Entities: NNN; Attributes: NNN; Relationships: NNN; Hierarchies: NNN"
},
"messaging_db_health_check": {
"Status": "Healthy",
"Duration": "00:00:NNNN",
"Description": null
},
"logging_db_health_check": {
"Status": "Healthy",
"Duration": "00:00:NNNN",
"Description": null
}
}
}
与上述类似的输出响应可确认安装成功,完成所有部署步骤;验证 Profisee 是否已成功连接到 Microsoft Purview,并指示两个系统能够正常通信。
后续步骤
通过本指南,我们了解了 MDM 在推动和支持 Azure 数据资产环境中的数据治理方面的重要性,以及如何设置和部署 Microsoft Purview-Profisee 集成。 有关 Profisee MDM 用途的更多详细信息,请注册以获取 Profisee 学院教程和演示上的计划培训、现场产品演示和 Q&A!