本教程将逐步讲解如何创建 RAG 管道。 对于高级场景,你可以从代码(通常是笔记本)生成自己的自定义 Azure 机器学习管道,从而对 RAG 工作流进行精细控制。 Azure 机器学习提供了多个内置管道组件,用于进行数据分块、嵌入生成、测试数据创建、自动提示生成和提示评估。 可根据需要通过笔记本使用这些组件。 甚至可在 LangChain 中使用在 Azure 机器学习中创建的矢量索引。
重要
此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。
有关详细信息,请参阅适用于 Azure 预览版的补充使用条款。
先决条件
Azure 订阅。 如果没有 Azure 订阅,请创建一个试用帐户。
访问 Azure Open AI。
在 Azure 机器学习工作区中启用提示流
在 Azure 机器学习工作区中,可在“管理预览功能”面板中启用“使用提示流生成 AI 解决方案”来启用提示流。
Prompt Flow 管道笔记本示例存储库
Azure 机器学习为多个使用 Prompt Flow 管道的用例提供了笔记本教程。
QA 数据生成
QA 数据生成可用于获取 RAG 的最佳提示,并评估 RAG 的指标。 此笔记本演示如何根据数据(Git 存储库)创建 QA 数据集。
测试数据生成和自动提示
使用矢量索引构建检索增强生成模型,并评估 Prompt Flow 在测试数据集上的表现。
创建基于 FAISS 的矢量索引
设置 Azure 机器学习管道来拉取 Git 存储库、将数据处理成区块、嵌入区块并创建与 langchain 兼容的 FAISS 矢量索引。
后续步骤
将向量存储与 Azure 机器学习一起使用(预览版)