在 Azure 机器学习中使用负责任 AI 记分卡(预览版)

适用范围:Azure CLI ml 扩展 v2(最新版)Python SDK azure-ai-ml v2(最新版)

Azure 机器学习的负责任 AI 记分卡是基于负责任 AI 仪表板见解和自定义生成的 PDF 报告,用于配合机器学习模型。 你可以轻松配置、下载 PDF 记分卡并将其与技术和非技术利益干系人共享,以便为他们提供有关数据和模型运行状况与合规性的教育,并帮助建立信任。 还可以使用记分卡来审核评论,以告知利益干系人模型的特征。

重要

此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。

有关详细信息,请参阅适用于 Azure 预览版的补充使用条款

在何处查找负责任 AI 记分卡

负责任 AI 记分卡链接到负责任 AI 仪表板。 若要查看负责任 AI 记分卡,请在 Azure 机器学习工作室中选择“模型”,以进入模型注册表。 然后选择已为其生成负责任 AI 仪表板和记分卡的注册模型。 选择模型后,选择“负责任 AI”选项卡,查看生成的仪表板列表。 通过选择“负责任 AI 见解”,选择要为其导出负责任 AI 记分卡 PDF 的仪表板,然后查看所有 PDF 记分卡。

Screenshot of the 'Responsible AI (preview)' pane in Azure Machine Learning studio, with the 'Responsible AI scorecard (preview)' tab highlighted.

  1. 选择“负责任 AI 记分卡(预览版)”以显示为此仪表板生成的所有负责任 AI 记分卡的列表。

    Screenshot of Responsible AI scorecard dropdown.

  2. 在列表中选择要下载的记分卡,然后选择“下载”将 PDF 下载到计算机。

    Screenshot of the 'Responsible AI scorecards' pane for selecting a scorecard to download.

如何读取负责任 AI 记分卡

负责任 AI 记分卡是一份关键见解的 PDF 摘要,通过负责任 AI 仪表板获取。 记分卡的第一个摘要段概述了机器学习模型和已设置的关键目标值,以帮助所有利益干系人确定模型是否已准备好部署:

Screenshot of the model summary on the Responsible AI scorecard PDF.

数据分析段显示数据的特征,有助于正确理解数据,否则任何模型情景都将是不完整的:

Screenshot of the data analysis on the Responsible AI scorecard PDF.

模型性能段显示模型最重要的指标和预测特征,以及它们如何满足所需目标值:

Screenshot of the model performance on the Responsible AI scorecard PDF.

接下来,还可以查看自动提取的表现最佳和表现最差的数据队列和子组,以查看模型的盲点:

Screenshot of data cohorts and subgroups on the Responsible AI scorecard PDF.

可以看到影响模型预测的最重要因素,这是建立对模型任务执行方式的信任的必要条件:

Screenshot of the top important factors on the Responsible AI scorecard PDF.

可以进一步查看汇总的模型公平性见解,并检查模型是否满足为所需敏感组设置的公平性目标值:

Screenshot of the fairness insights on the Responsible AI scorecard PDF.

最后,可以查看数据集汇总的因果见解,这有助于判断确定的因素或处理方法是否对实际结果产生任何因果关系的影响:

Screenshot of the dataset's causal insights on the Responsible AI scorecard PDF.

后续步骤