理解 RAG 第一部分：为什么需要它

理解 RAG 第一部分：为什么需要它
图片由 Editor | Midjourney & Canva 提供

自然语言处理（NLP）是人工智能（AI）的一个领域，旨在教会计算机理解书面语和口语，并通过使用此类语言与人类互动。尽管传统NLP方法已经研究了几十年，但大型语言模型（LLMs）的出现几乎占据了该领域的所有发展。通过结合复杂的深度学习架构和能够分析语言中复杂模式和相互依赖关系的自注意力机制，LLMs因其能够处理的广泛语言生成和语言理解任务以及它们的应用范围（对话聊天机器人、深入文档分析、翻译等）而彻底改变了NLP和整个AI领域。

LLM最常执行的一些任务

LLM的能力与局限性

由OpenAI的ChatGPT模型等主要AI公司推出的最大通用LLM主要专注于语言生成，即给定一个提示——用户以人类语言提出的查询、问题或请求——LLM必须通过逐字生成来对该提示产生自然语言响应。为了使这项看似艰巨的任务成为可能，LLMs是在极其庞大的数据集上进行训练的，这些数据集包含数百万到数十亿份涵盖你能想象到的任何主题的文本文档。通过这种方式，LLMs全面学习人类语言的细微差别，模仿我们的沟通方式，并利用学到的知识生成自己的“类人语言”，从而实现前所未有水平的流畅人机通信。

毫无疑问，LLMs是AI发展和视野中的一大进步，但它们也并非没有局限性。具体来说，如果用户要求LLM在特定上下文中提供精确答案（例如，最新新闻），模型本身可能无法提供具体准确的响应。原因在于：LLMs对世界的认知仅限于它们接触过的数据，尤其是在训练阶段。除非LLM不断进行频繁的再训练（坦白说，这是一个极其昂贵的过程），否则它通常不会了解最新新闻。

更糟糕的是，当LLMs缺乏基本信息来提供精确、相关或真实的答案时，它们很可能仍然生成看似令人信服的响应，即使这意味着完全基于虚构信息来构建。LLMs中这个常见的问题被称为幻觉：生成不精确和无根据的文本，从而误导用户。

为什么RAG应运而生

即使是市场上最大的LLMs也或多或少地遭受着数据过时、高昂的再训练成本和幻觉问题，科技巨头们清楚地认识到当全球数百万用户使用这些模型时所带来的风险和影响。例如，早期ChatGPT模型中的幻觉普遍性估计约为15%，这对其使用它们的公司声誉产生了深远影响，并损害了整个AI系统的可靠性和信任度。

这就是RAG（检索增强生成）出现的原因。由于其有效解决了上述LLM局限性的方法，RAG无疑是LLM出现之后NLP领域的重大突破之一。RAG的核心思想是将搜索引擎通常使用的信息检索技术的准确性和搜索能力，与LLM的深入语言理解和生成能力相结合。

总的来说，RAG系统通过在用户查询或提示中整合最新的、真实的上下文信息来增强LLM。这些上下文是在LLM进行的语言理解和后续响应生成过程之前，通过检索阶段获得的。

以下是RAG如何帮助解决传统LLM中存在的上述问题

• 数据过时： RAG通过检索和整合外部最新信息来帮助克服数据过时，从而使响应反映最新的可用知识。
• 再训练成本： 通过动态检索相关信息，RAG降低了频繁和昂贵的再训练的必要性，使LLM能够在不进行完全再训练的情况下保持最新。
• 幻觉： RAG通过将响应基于从真实文档检索到的事实信息来帮助减轻幻觉，从而最大限度地减少生成缺乏任何真实性的虚假或虚构响应。

至此，我们希望您对RAG是什么以及它为何出现以改进现有LLM解决方案有了初步的了解。本系列的下一篇文章将深入探讨RAG的工作流程。