域特定的内容检测

除标记和高级分类外,Azure AI 视觉还支持使用已经过专门数据训练的模型执行进一步特定于域的分析。

可通过两种方法使用特定于域的模型:使用模型本身(作用域分析)或用作图像分类功能的增强。

作用域分析

可通过调用 Models/<model>/Analyze API,仅使用选择的特定于域的模型来分析图像。

下面是 models/celebrities/analyze API 为给定图像返回的示例 JSON 响应:

Satya Nadella 的站立微笑图

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

增强版分类分析

特定于域的模型还可用于对常规图像分析进行补充。 可通过在分析图像 API 调用的 details 参数中指定特定于域的模型,作为高级分类的一部分执行此操作。

在这种情况下,首先会调用 86 类别分类分类器。 如果检测到的任何类别具有匹配的特定于域的模型,图像也会通过该模型并会添加结果。

以下 JSON 响应展示可如何在更广泛的分类分析中以 detail 节点的形式包含特定于域的分析。

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

列出特定于域的模型

目前,Azure AI 视觉支持以下特定于域的模型:

名称 说明
名人 名人识别,支持属于 people_ 类别的图像
地标 地标识别,支持属于 outdoor_building_ 类别的图像

调用模型 API 将返回此信息,以及每个模型可应用于的类别:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

使用 API

可通过分析图像 3.2 API 获取此功能。 可以通过本机 SDK 或 REST 调用来调用此 API。 在 details 查询参数中包含 CelebritiesLandmarks。 然后,在获取完整 JSON 响应时,请分析 "details" 部分内容的字符串。