个人身份信息检测和遮蔽

适用于: Azure Data Factory Azure Synapse Analytics

本文介绍一个解决方案模板,可用于使用 Foundry Tools 检测和屏蔽数据流中的 PII 数据。

关于此解决方案模板

此模板从Azure Data Lake Storage Gen2源检索数据集。 然后,创建包含派生列的请求正文,外部调用转换操作会调用 Foundry Tools,并在数据加载到目标接收器之前对 PII 进行掩盖处理。

该模板包含一个活动:

  • “数据流”,用于检测 PII 数据并对其进行掩码

此模板定义 3 个参数:

  • sourceFileSystem 是用于从源存储位置读取文件的文件夹路径。 需将默认值替换为自己的文件夹路径。
  • sourceFilePath 是从中读取源存储内的文件的子文件夹路径。 需将默认值替换为自己的子文件夹路径。
  • sourceFileName 是要转换的文件的名称。 需将默认值替换为自己的文件名。

先决条件

  • Azure AI 服务资源端点 URL 和密钥(在此处创建新的资源 here

如何使用此解决方案模板

  1. 浏览模板库或通过筛选找到模板,然后转到“PII 检测和掩码”模板。

    模板库的屏幕截图,其中 PII 检测模板处于选定状态。

  2. 使用下拉菜单“新建”与源存储的连接,或选择现有连接。 要从中读取文件的源存储库。

    “模板设置”页的屏幕截图,你可在其中创建新连接或从下拉菜单中选择到源的现有连接。

    单击“新建”将需要创建新的链接服务连接。

    “模板设置”页的屏幕截图,其中有一个弹出式窗口,以创建与数据源的新链接服务连接。

  3. 使用下拉列表创建与 Azure 人工智能服务资源的新连接,或选择现有连接。 需要终结点 URL 和资源密钥才能创建此连接。

    模板设置页面的屏幕截图,用于创建新连接,或者从下拉菜单中选择与 Foundry Tools 的现有连接。

    单击“新建”将需要创建新的链接服务连接。 请确保在 Auth 标头“Ocp-Apim-Subscription-Key”下输入资源的终结点 URL 和资源密钥。

    模板设置页面的屏幕截图,其中打开了一个悬浮窗口以创建新的用于 Foundry 工具的链接服务连接。

  4. 选择“使用此模板”以创建管道。

    用于完成管道创建操作的左下角按钮的屏幕截图。

  5. 你应该会看到以下流水线:

    包含一个数据流活动的管道视图的屏幕截图。

  6. 单击进入数据流活动将显示以下数据流:

    从源通向三次转换再通向接收器的数据流视图的屏幕截图。

  7. 启用“数据流调试”。

    屏幕顶部横幅中的“数据流调试”按钮的屏幕截图。

  8. 更新“调试设置”中的参数,并单击“保存”。

    “调试”按钮右侧屏幕顶部横幅上的“调试设置”按钮的屏幕截图。

    屏幕截图显示了在屏幕右侧面板中的“调试设置”中更新参数的位置。

  9. 在“数据预览”中预览结果。

    屏幕底部数据流数据预览的屏幕截图。

  10. 当数据预览结果符合预期时,请更新“参数”。

    屏幕底部“参数”下的数据流参数的屏幕截图。

  11. 返回到管道,然后选择“调试”。 查看结果并发布。

    显示触发管道时返回的结果的屏幕截图。