快速入门：Azure portal中的多模式搜索

在本快速入门中，你将在 Azure portal 中使用 导入数据（新）向导并开始使用多模态搜索。 向导简化了将文本和图像提取、分块、向量化后加载到可搜索索引中的过程。

本快速入门使用来自 azure-search-sample-data 存储库的多模态 PDF。 但是，你可以使用不同的文件，这样仍然可以完成本快速入门。

先决条件

• 具有活动订阅的Azure帐户。 创建试用版订阅。

• Azure AI Search service。 对于托管标识支持和更高的限制，建议使用基本层或更高层。

• Azure Storage 帐户。 在具有分层命名空间的标准性能（通用 v2）帐户上，使用 Azure Blob Storage 或 Azure Data Lake Storage Gen2。 访问层级可以是热层、温层或冷层。

• 支持的提取方法。

• 支持的嵌入方法。

• 熟悉向导。 请参阅 Azure portal 中的导入数据向导。

支持的提取方法

对于内容提取，可以通过 Azure AI Search 选择默认提取，也可以通过 Foundry Tools 中的 Azure 文档智能进行增强提取。 下表描述了这两种提取方法。

¹ 出于计费目的，您必须将您的多服务帐户附加到Azure AI Search技能集中。 该向导要求搜索服务和多服务帐户位于 文档布局技能的同一支持区域中。

支持的嵌入方法

对于内容嵌入，请选择以下方法之一：

• 图像语言化： 使用 LLM 生成图像的自然语言描述，然后使用嵌入模型向量化纯文本和口头化图像。

• 多模式嵌入： 使用嵌入模型直接向量化文本和图像。

门户支持每个方法的以下模型。 稍后部分提供了部署说明。

¹ Azure OpenAI 资源的终结点必须具有自定义子域名，例如 https://my-unique-name.openai.azure.com。 如果在 Azure portal 中创建资源，则此子域在资源设置过程中自动生成。

² 个 Azure OpenAI 资源（具有访问嵌入模型的权限）在 Foundry 门户 中创建的不受支持。 必须在Azure portal中创建 Azure OpenAI 资源。

⁴ 出于计费目的，必须将您的 Foundry 资源附加到 Azure AI Search 服务中的技能集。 除非使用 无键连接（预览版） 创建技能集，否则这两个资源必须位于同一区域。

⁵ Azure 视觉多模式嵌入 API 可在 选择区域中使用。

公共端点要求

上述所有资源都必须启用公共访问，以便 Azure 门户节点可以访问它们。 否则，向导将失败。 运行向导后，你可以为集成组件启用防火墙和专用终结点以确保安全。 有关详细信息，请参阅 导入向导中的安全连接。

如果专用终结点已存在且无法禁用它们，则替代方法是从虚拟机上的脚本或程序运行相应的端到端流。 虚拟机必须与专用终结点位于同一虚拟网络。 Here 的 Python 代码示例用于集成矢量化。 同一GitHub存储库具有其他编程语言的示例。

配置访问

在开始之前，请确保你有权访问内容和操作。 本快速入门指南使用 Microsoft Entra ID 进行身份验证，并通过基于角色的访问来进行授权。 必须是 Owner 或 User Access Administrator 才能分配角色。 如果角色设置不可行，请改用基于密钥的身份验证方式。

配置在本节中指出的必需角色和条件角色。

必需的角色

所有多模式搜索方案都需要Azure AI Search和Azure Storage。

条件角色

以下选项卡涵盖适用于多模式搜索向导的资源。 仅选择应用于所选提取方法和嵌入方法的选项卡。

准备示例数据

本快速入门使用示例多模式 PDF，但你也可以使用自己的文件。 如果您使用的是免费搜索服务，请使用少于 20 个文件以保持在免费配额内进行数据增强处理。

若要为此快速入门准备示例数据，请执行以下操作：

1. 登录到 Azure portal 并选择Azure Storage帐户。

2. 在左窗格中，选择Data storage>Containers。

3. 创建容器，然后将 sample PDF 上传到容器。

4. 创建另一个容器来存储从 PDF 中提取的图像。

准备模型

启动向导

若要启动多模式搜索的向导，

1. 登录到 Azure portal 并选择Azure AI Search service。

2. 在“概述”页上，选择“导入数据”（新）。

   

3. 选择数据源：Azure Blob Storage 或 Azure Data Lake Storage Gen2。

   

4. 选择“多模态 RAG”。

   

运行向导

向导将引导你完成多个配置步骤。 本部分按顺序介绍每个步骤。

连接到数据

Azure AI Search需要连接到数据源才能进行内容引入和索引编制。 在这种情况下，数据源是Azure Storage帐户。

若要连接到你的数据，请执行以下操作：

1. 在连接到您的数据页上，选择您的Azure订阅。

2. 选择已上传示例数据的存储帐户和容器。

3. 选中“ 使用托管标识进行身份验证 ”复选框。 将标识类型保留为 系统分配。

   

4. 选择“下一步”。

提取内容

根据所选 的提取方法，向导提供用于文档破解和分块的配置选项。

将您的内容嵌入

在此步骤中，向导使用所选 的嵌入方法 生成文本和图像的矢量表示形式。

存储提取的图像

下一步是从文档中提取的图像发送到Azure Storage。 在 Azure AI Search 中，此辅助存储称为 知识存储。

若要存储已提取的图像，请执行以下操作：

1. 在 Image 输出页上，选择Azure订阅。

2. 选择用于存储图像的存储帐户和 Blob 容器。

3. 选中“ 使用托管标识进行身份验证 ”复选框。 将标识类型保留为 系统分配。

   

4. 选择“下一步”。

添加语义排名

在“高级设置”页上，可以选择添加语义排名，以在查询执行结束时将结果重新排名。 重新排名会将在语义方面最相关的匹配项提升到顶部。

映射新字段

在 “高级设置” 页上，可以选择将字段添加到索引架构。 默认情况下，向导将生成下表中所述的字段。

不能修改生成的字段或其属性，但如果数据源提供字段，则可以添加字段。 例如，Azure Blob Storage提供元数据字段的集合。

向索引架构添加字段：

1. 在 “索引”字段下，选择“ 预览”和“编辑”。

2. 选择添加字段。

3. 从可用字段中选择源字段，输入索引的字段名称，并接受默认数据类型（或替代）。

4. 如果要将架构还原到其原始版本，请选择“ 重置”。

该步骤的要点：

• 索引架构为分块数据提供向量字段和非函数字段。

• 文档分析模式会创建区块（每个区块一个搜索文档）。

计划索引编制

对于基础数据不稳定的数据源，可以 计划索引 以在特定时间间隔或特定日期和时间捕获更改。

若要计划索引，请执行以下操作：

1. 在 “高级设置” 页上，在 “计划索引”下，指定索引器的运行计划。 对于本快速入门，我们建议使用 Once 。

   

2. 选择“下一步”。

完成该向导

最后一步是查看配置并创建用于多模式搜索的必要对象。 如有必要，请返回到向导中的上一页以调整配置。

若要完成向导，请执行以下操作：

1. 在 “审阅和创建 ”页上，指定向导将创建的对象前缀。 通用的前缀有助于保持有序。

   

2. 选择 创建。

向导创建的对象

当向导完成配置时，它会创建以下对象：

检查结果

本快速入门创建一个多模式索引，该索引支持对文本和图像进行 混合搜索 。 除非使用直接多模式嵌入，否则索引不接受图像作为查询输入，这需要具有等效向量器的Azure AI Vision多模式嵌入技能。 有关详细信息，请参阅 在搜索索引中配置向量器。

混合搜索结合了全文查询和矢量查询。 发出混合查询时，搜索引擎将计算查询与索引向量之间的语义相似性，并相应地对结果进行排名。 对于在本快速入门中创建的索引，结果中显示出 content_text 字段中的内容，这些内容与您的查询紧密对齐。

要查询您的多模态索引，请：

1. 登录到 Azure portal 并选择Azure AI Search service。

2. 在左窗格中，选择 “搜索管理>索引”。

3. 选择你的索引。

4. 选择 “查询”选项，然后选择“ 隐藏搜索结果中的矢量值”。 此步骤使结果更具可读性。

   

5. 输入要搜索的文本。 我们的示例使用 energy。

6. 若要运行查询，请选择“ 搜索”。

   

   JSON 结果应包含与索引中相关的 energy 文本和图像内容。 如果启用了语义排名器，则 @search.answers 数组提供简洁、高置信 度语义答案 ，可帮助你快速识别相关的匹配项。

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

清理资源

在您自己的订阅计划中工作时，最好通过删除不再需要的资源来完成项目。 持续运行的资源可能会产生费用。

在 Azure 门户中，从左窗格中选择 “所有资源 ”或 “资源组 ”以查找和管理资源。 可以单独删除资源，也可以删除资源组以一次性删除所有资源。

后续步骤

本快速入门介绍了 导入数据（新） 向导，该向导为多模式搜索创建所有必要的对象。