如何将RAG幻觉率降至1-2%：四层防线解析

在构建基于检索增强生成（RAG）的系统时，幻觉（Hallucination）是一个普遍且棘手的问题。许多开发者发现，即使使用强大的大语言模型（LLM），系统的回答准确率依然不理想。一位开发者在 Reddit 上分享了其实战经验，通过一套系统性的方法，成功将 RAG 系统的幻觉率从常见的两位数百分比大幅降低至 1-2%。其核心洞察在于：幻觉往往不是模型本身的问题，而是数据管道的问题，即“垃圾进，垃圾出”。

核心内容

该方案的核心是构建了四层防线，旨在确保输入模型的信息是准确且相关的。

第一层防线是提升文档解析质量。许多 RAG 系统失败的第一步在于 PDF 解析器将文档（尤其是表格）打散成无结构的文本碎片，导致关键信息关联丢失。该方案采用了 IBM 开源的 Docling 解析器，它能输出结构化的 Markdown，保留表格、标题和列表的层级关系，让 LLM 能够“看懂”文档的原始结构。

第二层防线是实施混合检索。单一的语义搜索（向量搜索）虽然擅长理解查询意图，但在精确匹配产品编码、日期、SKU 等关键信息时表现不佳。该方案结合了 Dense 向量模型（e5-base-v2 配合 RaBitQ 量化）和 BM25 关键词匹配，兼顾了语义理解和精确匹配，确保关键信息不被遗漏。

第三层防线是进行激进的重排序（Reranking）。向量数据库可能返回大量结果，但其中仅有少数真正相关。该方案使用 BGE-Reranker 对初步检索到的结果（例如 Top-50）进行重新筛选，仅保留最相关的少数几条（例如 Top-5）。这一步可以过滤掉约 60% 可能导致错误答案的不相关上下文，这些“差不多但不对”的结果正是幻觉的温床。

第四层防线是设置严格的系统提示。通过提示词强制模型在回答前先列出所依据的相关事实，并解释其推理过程。最关键的是，为模型提供一个明确的“退出通道”：如果所需信息不在提供的上下文中，则必须回答“我不知道”。这有效阻止了模型在信息不足时“好心办坏事”地编造答案。

价值与影响

该方案被评论者评价为“行业标准 plus”级别，其价值在于提供了一套可落地的、以数据管道为中心的幻觉缓解框架。它明确指出了当前方案的适用范围和盲区：主要解决的是检索准确性问题（找对信息），而非模型的深层推理问题（理解对信息）；同时，对于扫描版 PDF 和图片中的文本处理，作者表示尚未测试。

一个值得思考的对比是，该方案采用的开源组件组合，在特定企业级场景（如处理定价表、合同、技术手册）下，可能比一些云厂商的闭源 RAG 服务（如 Google Vertex AI 或 AWS Bedrock）更准确且成本更低，后者在简单查询上体验良好，但在复杂、精确的企业需求面前可能显得不足。

最后，该经验强调了一个重要原则：你无法修复你无法测量的东西。建议使用 RAGAS 等评估框架对答案的忠实度（Faithfulness）和相关性（Answer Relevance）进行量化，从而形成持续调优的反馈闭环，系统性提升 RAG 应用的可靠性。

---

来源：黑洞资源笔记