PII 检测和掩码

适用于:Azure 数据工厂 Azure Synapse Analytics

本文介绍一个解决方案模板,该模板可用于通过 Azure AI 服务检测数据流中的 PII 数据并对其进行掩码。

关于此解决方案模板

此模板从 Azure Data Lake Storage Gen2 源检索数据集。 然后会使用派生列创建请求正文,并且在将数据加载到目标接收器之前,一个外部调用转换将调用 Azure AI 服务并对 PII 数据进行掩码。

该模板包含一个活动:

  • “数据流”,用于检测 PII 数据并对其进行掩码

此模板定义 3 个参数:

  • sourceFileSystem 是从中读取源存储内的文件的文件夹路径。 需将默认值替换为自己的文件夹路径。
  • sourceFilePath 是从中读取源存储内的文件的子文件夹路径。 需将默认值替换为自己的子文件夹路径。
  • sourceFileName 是要转换的文件的名称。 需将默认值替换为自己的文件名。

先决条件

  • Azure AI 服务资源终结点 URL 和密钥(从此处创建新资源)

如何使用此解决方案模板

  1. 通过滚动模板库或模板筛选器,转到模板“PII 检测和掩码”。

    模板库的屏幕截图,其中 PII 检测模板处于选定状态。

  2. 使用下拉菜单“新建”与源存储的连接,或选择现有连接。 源存储是要从中读取文件的存储。

    “模板设置”页的屏幕截图,你可在其中创建新连接或从下拉菜单中选择到源的现有连接。

    单击“新建”将需要创建新的链接服务连接。

    “模板设置”页的屏幕截图,其中浮出控件打开以新建与数据源的链接服务连接。

  3. 使用下拉菜单“新建”与 Azure AI 服务资源的连接,或选择现有连接。 需要终结点 URL 和资源密钥才能创建此连接。

    “模板设置”页的屏幕截图,该页用于创建新连接或从下拉菜单中选择到 Azure AI 服务的现有连接。

    单击“新建”将需要创建新的链接服务连接。 请确保在 Auth 标头“Ocp-Apim-Subscription-Key”下输入资源的终结点 URL 和资源密钥。

    “模板设置”页的屏幕截图,其中浮出控件打开以新建与 Azure AI 服务的链接服务连接。

  4. 选择“使用此模板”以创建管道。

    用于完成管道创建操作的左下角按钮的屏幕截图。

  5. 你应该会看到以下管道:

    包含一个数据流活动的管道视图的屏幕截图。

  6. 单击数据流活动将显示以下数据流:

    从源通向三次转换再通向接收器的数据流视图的屏幕截图。

  7. 启用“数据流调试”。

    屏幕顶部横幅中的“数据流调试”按钮的屏幕截图。

  8. 更新“调试设置”中的参数,并单击“保存”。

    “调试”按钮右侧屏幕顶部横幅上的“调试设置”按钮的屏幕截图。

    屏幕截图显示了在屏幕右侧面板中的“调试设置”中更新参数的位置。

  9. 在“数据预览”中预览结果。

    屏幕底部数据流数据预览的屏幕截图。

  10. 当数据预览结果符合预期时,请更新“参数”。

    屏幕底部“参数”下的数据流参数的屏幕截图。

  11. 返回到管道,然后选择“调试”。 查看结果并发布。

    显示触发管道时返回的结果的屏幕截图。