什么是 Azure 内容审查器?

注意

截至 2023 年 7 月,Azure AI 服务包含之前称为认知服务和 Azure 应用 AI 服务的所有内容。 定价不变。 Azure 计费、成本分析、价目表和价格 API 中将继续使用名称“认知服务”和“Azure 应用 AI”。 应用程序编程接口 (API) 或 SDK 没有中断性变更。

Azure 内容审查器是一种 AI 服务,可用于处理可能的冒犯性、危险或不可取内容。 它包括 AI 支持的内容审核服务,该服务扫描文本、图像和视频,并自动应用内容标志。

你可能想在应用中内置内容筛选软件,以符合法规或维护用户的预期环境。

本文档包含以下文章类型:

  • 快速入门介绍了入门说明,指导您完成向服务发出请求。
  • 操作指南包含以更具体的方式或自定义方式使用服务的说明。
  • 概念对服务的功能和特性进行了深入说明。

如果需要更加结构化的方法,请遵循适用于内容审查器的培训模块。

使用场合

下面是软件开发人员或团队需要使用内容审核服务的一些场景:

  • 在联机市场中审查产品目录和其他用户生成的内容。
  • 在游戏公司中审查用户生成的游戏项目和聊天室。
  • 在社交消息平台中审查用户添加的图像、文本和视频。
  • 企业媒体公司对其内容进行集中式审查。
  • K-12 教育解决方案提供商为学生和教师筛选掉不当的内容。

重要

不能使用内容审查器检测非法儿童剥削图像。 不过,合格组织可以使用 PhotoDNA 云服务来筛查此类内容。

组成部分

内容审查器服务包含多个可以通过 REST 调用和 .NET SDK 使用的 Web 服务 API。

审查 API

内容审查器服务包括了审查 API,这些 API 检查内容中是否存在可能不适当或令人反感的材料。

block diagram for Content Moderator moderation APIs

下表介绍了各种类型的审查 API。

API 组 说明
文本审查 扫描文本中是否存在冒犯性内容、明确的或暗示性的色情内容、不雅内容和个人数据。
自定义术语列表 扫描文本中是否存在自定义术语列表以及内置的术语。 根据你自己的内容策略,使用自定义列表阻止或允许内容。
图像审查 扫描图像中是否存在成人内容或不雅内容,通过光学字符识别 (OCR) 功能检测图像中的文本,以及检测人脸。
自定义图像列表 针对自定义图像列表对图像进行扫描。 使用自定义图像列表筛选掉常常反复出现的内容的实例,这些实例不需再次分类。
视频审查 扫描视频中是否存在成人内容或挑逗性内容,并针对上述内容返回时间标记。

数据隐私和安全性

与所有 Azure AI 服务一样,使用内容审查器服务的开发人员应该了解 Microsoft 针对客户数据的政策。 请参阅 Microsoft 信任中心的“Azure AI 服务”页面来了解详细信息。

后续步骤