昨天参与阿里线上会议，了解到 RAG 的检索增强生成。针对目前多用户、多素材，采取什么解决方案，进一步了解一下吧！
大模型RAG对话系统 —— 检索增强生成
背景信息
大语言模型（LLM）在生成准确性和实时性回复方面存在局限，因此并不适合直接用于需要精确信息的客服或问答等场景。为了解决这一问题，当前业界广泛采用的方法是利用检索增强生成（Retrieval-Augmented Generation, RAG）技术来增强LLM的性能，这一技术可以显著提升问答、摘要生成以及其他需要引用外部知识的自然语言处理（NLP）任务的质量。
RAG通过将大语言模型（如通义千问）和信息检索组件结合在一起，增强了模型生成答案的准确性和信息量。在处理用户查询时，RAG通过信息检索组件在知识库中寻找与查询相关的文档或信息片段，将这些检索到的内容与原始查询一同输入大语言模型之后，模型能够利用现有的归纳生成能力产生基于最新信息的、符合事实的回复，而无需对模型进行重新训练。
EAS部署的对话系统服务，通过集成大语言模型（LLM）和检索增强生成（RAG）技术，克服了LLM在准确性和实时性方面的局限，为多种问答场景提供了准确且信息丰富的响应，从而提升了自然语言处理任务的整体效能和用户体验。
注意事项
该对话系统受制于LLM服务的服务器资源大小以及默认Token数量限制，能支持的对话长度有限。
如果无需进行多轮对话，建议您关闭RAG服务的with chat history功能，这样能有效减少达到限制的可能性。详情请参见如何关闭RAG服务的with chat history功能。
步骤一：准备向量检索库
RAG支持通过Faiss（Facebook AI Similarity Search）、Elasticsearch、Milvus或Hologres构建向量检索库。您需要获取相关配置参数，以便后续连接向量检索库。
步骤二：部署RAG服务
1.进入模型在线服务页面。
a.登录PAI控制台。
b.在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
c.在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。
2.在模型在线服务页面，单击部署服务，在场景化模型部署区域，单击大模型RAG对话系统部署。
3.在部署大模型RAG对话系统页面，配置以下关键参数。
a.基本信息
b.资源配置
c.向量检索库设置：根据您的场景需要，任意选择一种版本类型，作为向量检索库。
d.专有网络配置
4.单击部署。
当服务状态变为运行中时，表示服务部署成功。
步骤三：通过WebUI页面进行模型推理验证
您可以先在WebUI页面，参考以下操作步骤对服务进行调试。当您在WebUI页面调试好问答效果后，可以基于PAI提供的API将其应用到您自己的业务系统中，详情请参见步骤四：通过API调用进行模型推理验证。
1.配置RAG对话系统
2.上传指定的业务数据文件
3.配置模型推理参数
4.模型推理验证
步骤四：通过API调用进行模型推理验证
1.获取RAG服务的调用信息。
a.单击RAG服务名称，进入服务详情页面。
b.在基本信息区域，单击查看调用信息。
c.在调用信息对话框的公网地址调用页签，获取服务访问地址和Token。
2.通过WebUI页面连接向量数据库，并上传业务数据文件。具体操作，请参见1、配置RAG对话系统和2、上传指定的业务数据文件。
3.通过API调用服务。
PAI提供了三种调用API的对话方式：service/query/retrieval（Retrieval）、service/query/llm（LLM）和service/query（RAG）。
相关文档
场景化部署：部署 WebUI 和 API 调用的LLM大语言模型，并在部署LLM应用后，利用LangChain框架集成企业知识库，实现智能问答和自动化功能。详情请参见 《
5分钟使用EAS一键部署LLM大语言模型应用》。
部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成服务，帮助您完成社交平台短视频内容生成、动画制作等任务。详情请参见 《
AI视频生成-ComfyUI镜像部署》。
点击阅读原文
大模型RAG对话系统 —— 检索增强生成
沪公安联网 31011502019103