Mac本地RAG文档问答——Llama2 & ChatGLM3(量化版) & Ollama

过去文档检索的基本技术框架,中间每一步都有相当的技术复杂度,过去只有大厂在有巨大需求的场景去实现这样的能力。但是LLM的出现,让文档检索这件事情的门槛骤然降低,用向量数据库就可以轻松构建自己的文档检索系统,结合LLM的对话生成能力,真正实现文档问答的能力。

Mac本地RAG文档问答——Llama2 & ChatGLM3(量化版) & Ollama
读《面向大语言模型的检索增强生成技术:综述》笔记整理

在这篇综述中,我们关注的是面向大语言模型(Large Language Model)的检索增强生成技术。这项技术通过结合检索机制,增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。大语言模型 (大语言模型,LLMs) 虽展现出强大能力,但在实际应用中,例如在准确性、知识更新速度和答案透明度方面,仍存在挑战。检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前,先从外部知识库检索相关信息。RAG 被证明能显著提升答案的准确性,并特别是在知识密集型任务上减少模型的错误输出。通过引用信息来源,用户可以核实答案的准确性,从而增强对模型输出的信任。

读《面向大语言模型的检索增强生成技术:综述》笔记整理