无需嵌入的 RAG 新方案 PageIndex 开源

在检索增强生成（RAG）领域，向量嵌入和语义相似度搜索长期以来被视为构建高效知识库的基石。然而，最近开源社区出现了一个引人注目的项目 PageIndex，它提出了一种截然不同的 RAG 实现路径。该项目摒弃了传统的向量嵌入方法，转而采用文档树结构来组织和检索信息，并在 FinanceBench 基准测试上取得了高达 98.7% 的准确率。这一结果不禁让人思考：我们是否过于依赖嵌入技术，而忽略了文档本身固有的结构价值？

PageIndex 方案的核心理念在于，让大型语言模型直接在文档的层级结构上进行推理和导航，而非依赖于将文本切块后计算出的向量相似度进行关键词匹配。这种方法无需进行复杂的嵌入计算，也避免了繁琐的文本分块过程，并且其代码已在 GitHub 上完全开源。这听起来像是一种激进的技术转向，但本质上，它回归了一个非常朴素的问题：当人类阅读一份复杂文档时，我们真正依赖的是什么？是抽象的语义相似度，还是文档中清晰的章节标题、段落层级、表格和列表这些直观的结构化线索？

对于金融分析报告、法律合同、技术白皮书、合规文档等天然具备清晰逻辑层级的内容而言，让模型沿着文档树进行自上而下的推理，确实比将文档切割成孤立的碎片再进行向量匹配更符合人类的认知直觉。这种“结构优先”的检索方式，不仅可能提升答案的准确性，还使得答案的引用和溯源变得无比可靠和透明，因为每一个回答都能清晰地对应到文档树中的某个特定节点或章节。

当然，开源社区的实测反馈也揭示了 PageIndex 当前面临的挑战与局限性。有开发者指出，该方案目前似乎更擅长处理单个大型文档的结构化检索，而在需要进行跨文档比较、或从海量文档中寻找语义相似内容的场景下，传统向量数据库的优势依然不可替代。也有用户反映其查询速度可能偏慢，因为对于简单的查询，逐层遍历文档树节点的计算开销，可能远超向量索引的一次快速近似最近邻搜索。更根本的质疑在于：面对互联网上充斥的大规模、非结构化或弱结构化文本数据，这种严重依赖文档自身层级的方法能否有效地扩展？

一位开发者的评论颇为中肯：向量数据库的核心优势在于，它能通过廉价的数学运算（如点积计算）实现毫秒级的海量数据检索。而 PageIndex 所依赖的，本质上是大模型对文档结构的理解和推理，这是一个相对昂贵且缓慢的过程。在需要实时扫描数万甚至数百万份文档的场景下，其可行性确实需要打上一个问号。

因此，将 PageIndex 的出现解读为“向量数据库的颠覆者”可能为时过早。更准确的理解是，它为 RAG 的技术工具箱增添了一件非常趁手的专用武器。未来的技术选型很可能走向融合：对于结构严谨的合同、手册、报告，采用文档树索引方式可以获取更精准、可溯源的答案；对于博客文章、社交媒体内容、客户对话记录等非结构化数据，向量嵌入仍是高效检索的不二法门；而在许多复杂的企业级场景中，混合使用两种甚至多种索引策略的“混合检索”方案，或许才是最优解。

技术选型从来不是一场非此即彼的零和游戏。PageIndex 的创新提醒我们，在追求更智能的检索方式时，不应忽视数据本身的内在特性。正如许多实践者所言，真正的答案永远存在于你自己的数据和业务场景中：搭建一个测试环境，用真实的查询负载跑一遍基准测试，让数据告诉你哪种方案最适合。

原文链接： 向量数据库被颠覆？一个无需嵌入的RAG新思路