快速入门：在 Azure 门户中向量化文本

在本快速入门中，你将在 Azure 门户中使用 导入和矢量化数据 向导开始使用 集成向量化。 向导将您的内容分块，并调用嵌入模型，在索引和查询时对这些区块进行向量化处理。

本快速入门使用 azure-search-sample-data 存储库中的基于文本的 PDF。 但是，你可以使用图像，这样仍然可以完成本快速入门。

先决条件

• 拥有有效订阅的 Azure 帐户。 创建试用版订阅。

• Azure AI 搜索服务。 建议使用基本层或更高层级。

• 支持的数据源。

• 支持的嵌入模型。

• 熟悉向导。 请参阅 Azure 门户中的“导入数据向导”。

支持的数据源

导入和矢量化数据向导支持各种 Azure 数据源。 但是，本快速入门仅介绍处理整个文件的数据源，下表对此进行介绍。

支持的数据源	说明
Azure Blob 存储	此数据源适用于 Blob 和表。 必须使用标准性能（常规用途 v2）帐户。 访问层可以是热层、温层或冷层。
Azure Data Lake Storage （ADLS） Gen2	这是启用了分层命名空间的 Azure 存储帐户。 若要确认你有 Data Lake Storage，请检查“概述”页上的“属性”选项卡。

支持的嵌入模型

对于集成向量化，必须在 Azure AI 平台上使用以下嵌入模型之一。 稍后部分提供了部署说明。

¹ Azure OpenAI 资源的终结点必须具有 自定义子域，例如 https://my-unique-name.openai.azure.com。 如果在 Azure 门户中创建了资源，则此子域是在资源设置过程中自动生成的。

²不支持 Azure AI Foundry 门户中创建的 Azure OpenAI 资源（具有嵌入模型访问权限）。 只有 Azure 门户中创建的 Azure OpenAI 资源与 Azure OpenAI 嵌入技能兼容。

³ 出于计费目的，必须将 Azure AI 多服务资源附加到 Azure AI 搜索服务中的技能集。 除非使用 无键连接（预览版） 创建技能集，否则这两个资源必须位于同一区域。

⁴ Azure AI 视觉多模式嵌入模型在 所选区域中可用。

公共终结点要求

在本快速入门中，上述所有资源都必须启用公共访问权限，以便 Azure 门户节点可以访问它们。 否则，向导将失败。 运行向导后，你可以为集成组件启用防火墙和专用终结点以确保安全。 有关详细信息，请参阅导入向导中的安全连接。

如果专用终结点已存在并且你无法禁用它们，则另一种选择是在虚拟机上从脚本或程序运行相应的端到端流。 虚拟机必须与专用终结点位于同一虚拟网络上。 下面是用于集成矢量化的 Python 代码示例 。 同一 GitHub 存储库中还包含其他编程语言的示例。

基于角色的访问权限

可以将 Microsoft Entra ID 与角色分配或基于密钥的身份验证与完全访问连接字符串配合使用。 对于与其他资源的 Azure AI 搜索连接，我们建议分配角色。 本快速入门将使用角色。

免费搜索服务支持与 Azure AI 搜索的基于角色的连接。 但是，它们不支持在与 Azure 存储或 Azure AI 视觉服务的出站连接中使用托管标识。 这种缺乏支持需要基于密钥的身份验证，具体取决于免费搜索服务与其他 Azure 资源之间的连接。 若要获得更安全的连接，请使用基本层或更高层，然后启用角色并配置托管标识。

配置建议的基于角色的访问：

1. 在搜索服务上， 启用角色 并 配置系统分配的托管标识。

2. 为自己分配以下角色 ：

   • 搜索服务参与者

   • 搜索索引数据参与者

   • 搜索索引数据读取者

3. 在数据源平台和嵌入模型提供程序上，创建允许搜索服务访问数据和模型的角色分配。 请参阅 “准备示例数据 ”和 “准备嵌入模型”。

检查空间

如果从免费服务开始，则限制为 3 个索引、数据源、技能集和索引器。 基本层级的限制为 15。 在本快速入门中，我们会创建每种对象各一个，因此开始之前，请确保您有足够的空间来放置额外的物品。

准备示例数据

本部分介绍适用于本快速入门的内容。 在继续之前，请确保已完成基于角色的访问的先决条件。

准备嵌入模型

该向导可以使用从 Azure OpenAI、Azure AI 视觉或 Azure AI Foundry 模型目录部署的嵌入模型。 在继续之前，请确保已完成基于角色的访问的先决条件。

启动向导

若要启动矢量搜索向导，

1. 登录到 Azure 门户 并选择 Azure AI 搜索服务。

2. 在“概述”页上，选择“导入和矢量化数据”。

   

3. 选择数据源： Azure Blob 存储、 ADLS Gen2。

4. 选择 RAG。

   

连接到数据库

在此步骤中，将 Azure AI 搜索连接到 受支持的数据源 ，以便进行内容引入和索引编制。

矢量化文本

在此步骤中，向导使用所选 的嵌入模型 向量分块数据。 分块是内置且不可配置的。 有效设置包括：

"textSplitMode": "pages",
"maximumPageLength": 2000,
"pageOverlapLength": 500,
"maximumPagesToTake": 0, #unlimited
"unit": "characters"

矢量化并扩充图像

健康计划 PDF 包含公司徽标，除此之外，没有图像。 如果使用示例文档，则可以跳过此步骤。

但是，如果内容包含有用的图像，可以采用以下一种或两种方式来应用 AI：

• 使用 Azure AI Foundry 模型目录或 Azure AI 视觉多模式嵌入 API（通过 Azure AI 多服务资源）支持的图像嵌入模型来向量化图像。

• 使用光学字符识别（OCR）从图像中提取文本。 此选项调用 OCR 技能。

添加语义排名

在“高级设置”页上，可以选择添加语义排名，以在查询执行结束时将结果重新排名。 重新排名会将在语义方面最相关的匹配项提升到顶部。

映射新字段

该步骤的要点：

• 索引架构为分块数据提供向量字段和非函数字段。

• 可以添加字段，但不能删除或修改生成的字段。

• 文档分析模式会创建区块（每个区块一个搜索文档）。

在 “高级设置” 页上，可以选择添加新字段，假设数据源提供在第一次传递时未选取的元数据或字段。 默认情况下，向导将生成下表中所述的字段。

无法修改生成的字段或它们的属性，但如果数据源提供了新字段，则可以添加新字段。 例如，Azure Blob 存储提供元数据字段的集合。

1. 选择添加字段。

2. 从可用字段中选择源字段，输入索引的字段名称，并接受默认数据类型（或替代）。

   注意

   元数据字段可搜索，但不可检索、筛选、分面或排序。

3. 如果要将架构还原到其原始版本，请选择“ 重置”。

计划索引编制

在 “高级设置” 页上，还可以为索引器指定可选的 运行计划 。 从下拉列表中选择间隔后，选择“ 下一步”。

完成该向导

1. 在“查看配置”页面上，为向导创建的对象指定前缀。 通用的前缀有助于保持有序。

2. 选择创建。

当向导完成配置时，它会创建以下对象：

• 数据源连接。

• 包含矢量字段、向量器、矢量配置文件和向量算法的索引。 无法在执行向导工作流期间设计或修改默认索引。 索引遵循 2024-05-01-preview REST API。

• 包含用于分块的文本拆分技能和用于矢量化的嵌入技能的技能组。 嵌入技能是 Azure OpenAI 的 AzureOpenAIEmbeddingModel 技能 。 技能组还具有 索引投影 配置，该配置将数据从数据源中的一个文档映射到“子”索引中的相应区块。

• 具有字段映射和输出字段映射的索引器（如果适用）。

检查结果

搜索资源管理器接受文本字符串作为输入，然后矢量化矢量器查询执行文本。

1. 在 Azure 门户中，转到 “搜索管理>索引”，然后选择索引。

2. 选择 “查询”选项，然后选择“ 隐藏搜索结果中的矢量值”。 此步骤使结果更具可读性。

   

3. 在 “视图 ”菜单中，选择 JSON 视图 ，以便可以在向量查询参数中 text 输入矢量查询的文本。

   

   默认查询为空搜索（"*"），但包含返回数字匹配项的参数。 这是一种并行运行文本和矢量查询的混合查询。 它还包括语义排名，并通过 select 语句指定要在结果中返回哪些字段。

    {
      "search": "*",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "*",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title,image_parent_id"
    }
   

4. 将这两个星号 (*) 占位符替换为与运行状况计划相关的问题，例如 Which plan has the lowest deductible?。

    {
      "search": "Which plan has the lowest deductible?",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "Which plan has the lowest deductible?",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title"
    }
   

5. 若要运行查询，请选择“ 搜索”。

   

   每个文档都是原始 PDF 的一个区块。 title 字段显示区块来自哪个 PDF。 每个 chunk 都很长。 你可以将其中一个复制并粘贴到文本编辑器中，以读取整个值。

6. 若要查看特定文档中的所有区块，请为特定 PDF 的 title_parent_id 字段添加筛选器。 可以检查索引的“ 字段 ”选项卡，确认该字段可筛选。

   {
      "select": "chunk_id,text_parent_id,chunk,title",
      "filter": "text_parent_id eq 'aHR0cHM6Ly9oZWlkaXN0c3RvcmFnZWRlbW9lYXN0dXMuYmxvYi5jb3JlLndpbmRvd3MubmV0L2hlYWx0aC1wbGFuLXBkZnMvTm9ydGh3aW5kX1N0YW5kYXJkX0JlbmVmaXRzX0RldGFpbHMucGRm0'",
      "count": true,
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "text_vector"
          }
       ]
   }
   

清理资源

本快速入门使用可计费的 Azure 资源。 如果不再需要资源，请将其从订阅中删除，以避免产生费用。

下一步

本快速入门介绍了 导入和矢量化数据向导，该向导创建用于集成向量化的所有必需对象。 若要详细了解每个步骤，请参阅 在 Azure AI 搜索中设置集成矢量化。