如何使用 Azure AI Studio 中的模型实现集成矢量化

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

它假定你要使用文本拆分技能对内容进行分块，并且要矢量化的文本位于 /document/pages/* 路径中。 如果文本来自其他路径，请相应地更新对 /document/pages/* 路径的所有引用。

从目录部署模型时，便会生成 URI 和密钥。 有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署大型语言模型。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "{YOUR_MODEL_URL_HERE}",
  "key": "{YOUR_MODEL_KEY_HERE}",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

它假定你的图像来自通过启用内置图像提取创建的 /document/normalized_images/* 路径。 如果图像来自其他路径或存储为 URL，请相应地更新对 /document/normalized_images/* 路径的所有引用。

从目录部署模型时，便会生成 URI 和密钥。 有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署大型语言模型。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "{YOUR_MODEL_URL_HERE}",
  "key": "{YOUR_MODEL_HERE}",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

它假定你要使用 SplitSkill 对内容进行分块，因而要矢量化的文本位于 /document/pages/* 路径中。 如果文本来自其他路径，请相应地更新对 /document/pages/* 路径的所有引用。

必须将 /v1/embed 路径添加到从 AI Studio 部署中复制的 URL 的末尾。 还可以更改 input_type、truncate 和 embedding_types 输入的值，以更好地适应用例。

从目录部署模型时，便会生成 URI 和密钥。 有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署 Cohere Embed 模型。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "{YOUR_MODEL_URL_HERE}/v1/embed",
  "key": "{YOUR_MODEL_KEY_HERE}",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

此外，Cohere 模型的输出并非直接就是嵌入数组，而是包含该数组的 JSON 对象。 在通过 indexProjections 或 outputFieldMappings 将其映射到索引定义时，需要相应选择它。 下面是一个 indexProjections 有效负载示例，可用于实现此映射。

如果在技能定义中选择了其他 embedding_types，必须改为将 source 路径中的 float 更改为所选的适当类型。

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "{YOUR_TARGET_INDEX_NAME_HERE}",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}