经典数据目录的数据世系用户指南

本文概述了经典Microsoft Purview 数据目录中的数据世系功能。

Background

Microsoft Purview 的平台功能之一是能够显示数据进程创建的数据集之间的世系。 数据工厂、Data Share 和 Power BI 等系统在数据移动时可捕获数据世系。 还通过 Atlas 挂钩和 REST API 支持自定义世系报告。

血缘集合

在 Microsoft Purview 中，从企业数据系统收集的元数据会被整合关联起来，从而展示端到端的数据沿袭。 将数据世系采集到 Microsoft Purview 中的数据系统大致可分为以下三种类型：

• 数据处理系统
• 数据存储系统
• 数据分析和报告系统

每个系统都支持不同级别的世系范围。 查看以下部分或系统的各个世系文章，以确认当前可用的世系范围。

已知的限制

• 用作流程活动源的数据库视图（Azure 数据工厂、Synapse Pipelines、Azure SQL 数据库、Azure Data Share）当前在 Microsoft Purview 中被捕获为数据库表对象。 如果同时扫描了数据库，则视图资产会在 Microsoft Purview 中被单独发现。 在此场景中，Microsoft Purview 中采集到两个同名资产，其中一个是具有数据沿袭的表，另一个是视图。
• 如果存储过程包含 DROP 或 CREATE 语句，这些语句当前不会被纳入血缘关系分析。

数据处理系统

数据集成和 ETL 工具可以在执行时将世系推送到 Microsoft Purview 中。 数据工厂、Data Share、Synapse、Azure Databricks 等工具属于此类数据处理系统。 数据处理系统将数据集引用为来自不同数据库和存储解决方案的源，以创建目标数据集。 下表列出了当前与 Microsoft Purview 的世系集成的数据处理系统列表。

数据存储系统

& 存储解决方案（如 Oracle、Teradata 和 SAP）的数据库具有使用脚本语言转换数据的查询引擎。 来自视图/存储过程/等的数据世系信息收集到 Microsoft Purview 中，并与来自其他系统的世系拼合在一起。 以下数据源支持通过 Microsoft Purview 数据扫描获取血缘关系。 从相应文章中详细了解支持的世系方案。

数据分析和报告系统

数据分析和报告系统（如Azure机器学习和 Power BI）将世系报告到 Microsoft Purview 中。 这些系统使用存储系统中的数据集，并通过其元模型进行处理，以创建 BI 仪表板、ML 试验等。

世系入门

Microsoft Purview 中的世系包括数据集和进程。 数据集也称为节点，而进程也可以称为边缘：

• 数据集 (节点) ： (结构化或非结构化) 作为进程的输入提供的数据集。 例如，SQL 表、Azure Blob 以及文件（如 .csv 和 .xml）都被视为数据集。 在 Microsoft Purview 的世系部分中，数据集由矩形框表示。

• 进程 (Edge) ：对数据集执行的活动或转换称为进程。 例如，ADF 复制活动、数据共享快照等。 在 Microsoft Purview 的世系部分中，进程由圆边框表示。

若要访问 Microsoft Purview 中资产的世系信息，请执行以下步骤：

1. 通过以下方式打开经典 Microsoft Purview 治理门户：

   • 直接浏览到 https://web.purview.azure.cn 并选择你的 Microsoft Purview 帐户。
   • 打开 Azure 门户，搜索并选择 Microsoft Purview 帐户。 选择 Microsoft Purview 治理门户 按钮。

2. 在 Microsoft Purview 治理门户主页上，搜索数据集名称或进程名称，例如 ADF 复制或数据流活动。 然后按 Enter。

3. 在搜索结果中，选择资产并选择其 “世系 ”选项卡。

   

资产级世系

Microsoft Purview 支持数据集和进程的资产级世系。 若要查看资产级别的世系，请转到目录中当前资产的 “世系 ”选项卡。 选择当前数据集资产节点。 默认情况下，属于数据的列列表显示在左窗格中。

手动世系

Microsoft Purview 中的数据世系对于本地、多云和 SaaS 环境中的许多资产都是 自动化 的。 尽管我们继续添加更多自动化源，但手动世系允许你记录尚未支持自动化的源的世系元数据，而无需使用任何代码。

若要为任何资产添加手动世系，请执行以下步骤：

1. 在经典版 数据目录 中搜索您的资产，然后选择该资产以查看详细信息。

2. 选择 “编辑”，导航到“ 世系 ”选项卡，然后在底部面板中选择“ 添加手动世系 ”。

   

3. 配置资产世系：

   1. 选择资产下拉列表以从建议列表中查找资产，或 选择“查看更多” 以搜索完整目录。 选择要链接的资产。
   2. 选择切换图标，将关系方向设置为 生成（用于下游世系）或 使用（用于上游世系）。
   3. 如果要删除世系，请选择垃圾桶图标。

   

4. 在两个数据资产之间添加世系时，还可以配置列级世系。 选择行开头的展开图标，从相应的下拉列表中选择上游列和下游列以配置列映射。 选择加号图标以添加更多列沿袭信息；选择垃圾桶图标以删除现有的列沿袭信息。

   

5. 可以通过再次选择“添加手动世系”按钮来添加更多资产级别 世系 。 完成后，选择“ 保存 ”按钮以保存世系并退出编辑模式。

手动世系的已知限制

• 当前资产选取器体验允许一次仅选择一个资产。
• 两个数据资产之间的世系目前支持列级手动世系，而在两者之间涉及进程资产时则不支持。
• 源资产和目标资产都需要数据整理访问权限。
• 这些资产类型目前不允许手动世系，因为它们支持自动世系：
  • Azure 数据工厂
  • Synapse 管道
  • Power BI 数据集
  • Teradata 存储过程
  • Azure SQL存储过程

数据集列血缘

若要查看数据集的列级世系，请转到目录中当前资产的 “世系 ”选项卡，然后按照以下步骤操作：

1. 进入“血缘关系”选项卡后，在左侧窗格中，选中要在数据血缘关系中显示的每一列旁边的复选框。

   

2. 将鼠标悬停在左窗格或世系画布数据集中的选定列上，以查看列映射。 所有列实例均被突出显示。

   

3. 如果列数大于左窗格中显示的列数，请使用筛选器选项按名称选择特定列。 或者，可以使用鼠标滚动浏览列表。

   

4. 如果世系画布包含更多节点和边缘，请使用筛选器按名称选择数据资产或处理节点。 或者，您也可以使用鼠标在血缘窗口中四处拖动查看。

   

5. 使用左侧窗格中的切换开关，高亮显示血缘关系画布中的数据集列表。 如果关闭切换开关，将显示至少包含一个选定列的任何资产。 如果打开切换开关，则仅显示包含所有列的数据集。

   

处理列世系

还可以在目录中查看复制活动等数据处理过程。 例如，在此世系流中，选择复制活动：

复制活动会展开，然后你可以选择“ 切换到资产 ”按钮，这将为你提供有关流程本身的更多详细信息。

数据进程可以采用一个或多个输入数据集来生成一个或多个输出。 在 Microsoft Purview 中，进程节点支持列级血缘关系。

1. 在列面板的下拉列表中切换输入和输出数据集。

2. 从一个或多个表中选择列，查看从输入数据集流向相应输出数据集的世系。

   

浏览世系中的资产

1. 在任意资产上选择切换到资产，即可在血缘视图中查看其对应的元数据。 通过这种方式，可以从血缘视图浏览到目录中的另一项资产。

   

2. 对于常用数据集，世系画布可能会变得复杂。 为了避免混乱，默认视图仅显示资产的五个世系级别。 可以通过选择世系画布中的气泡来扩展世系的其余部分。 数据使用者还可以隐藏画布上自己不感兴趣的资产。 若要进一步减少杂乱，请关闭位于血缘关系画布顶部的“更多血缘关系”开关。 此操作将隐藏血缘关系画布中的所有气泡。

   

3. 使用世系画布中的智能按钮获取世系的最佳视图：

   1. 全屏
   2. 缩放以适应
   3. 缩放
   4. 自动对齐
   5. 缩放预览
   6. 更多选项：
      1. 将当前资产居中
      2. 重置为默认视图

   

手动或使用 REST API 生成自定义世系

Microsoft Purview 的重要平台功能之一是能够显示数据进程创建的数据集之间的世系。 数据工厂、Data Share 和 Power BI 等系统在数据移动时可捕获数据世系。 在某些情况下，出于实际可视化和/或企业报告目的，Purview 自动生成的世系不完整或缺失。 在这些方案中，可以在 Microsoft Purview 门户中手动或通过 Apache Atlas 挂钩和 REST API 创建自定义世系条目。 使用 REST API 报告或生成自定义世系的另一个主要好处是克服或缓解手动世系公开的功能限制。

若要手动生成自定义世系，可以按照以下用户指南进行操作： Microsoft Purview 中的手动世系条目。

若要使用 REST API 在 Microsoft Purview 中生成自定义世系，请按照以下用户指南进行操作： Microsoft Purview - 使用 REST API 生成自定义世系。

血缘最佳实践

后续步骤

• 链接到 Azure 数据工厂以查看沿袭
• 用于世系的 Azure Data Share 链接