大模型上下文长度 为何停滞不前
大模型上下文长度停滞，核心瓶颈是硬件与注意力质量。百万级窗口多属营销，实际可用远低于标称。行业正从追求长度转向优化信息利用。
过去两年，大型语言模型在推理、代码生成和多模态理解等核心能力上取得了令人瞩目的突破，然而一个关键指标——上下文窗口长度——却似乎陷入了停滞。正如 Simon Willison 在其帖子中所观察到的，模型的上下文能力在 20 万到 100 万 token 这个区间内已经徘徊了相当长的时间。这一现象引发了业界的广泛讨论：在模型其他方面飞速进步的背景下，为何上下文长度难以实现同等的跃迁？
硬件瓶颈：显存与内存带宽的硬约束
一个普遍被接受的初步判断是，这本质上是一个硬件瓶颈问题。处理超长上下文需要将海量的 token 同时加载到 GPU 显存中，而显存容量及其与处理器之间的内存带宽，构成了最直接、最根本的物理限制。每一次前向传播，模型都需要访问整个上下文窗口内的所有信息，这导致对显存带宽的需求呈线性甚至更高阶增长。因此，在现有硬件架构没有革命性升级的前提下，单纯地堆叠上下文长度会迅速触及成本与效能的“天花板”。
超越长度：注意力质量的深层挑战
然而，更深层的洞见指出，问题的核心或许并非仅仅是“能装下多少”，而是“装下后能记住并利用多少”。有观点犀利地指出，真正的瓶颈在于注意力的质量。一个能够精准追踪长程依赖关系、有效关联文档首尾信息的 20 万 token 窗口，其实际效用远胜于一个读到第 50 页就已遗忘第 3 页内容的、名义上的 200 万 token 窗口。模型在处理超长序列时，其注意力机制可能难以在所有 token 之间维持有效的、有区分度的连接。
这种挑战在工程实践中得到了印证。开发者们分享的经验揭示了一个行业内心照不宣的秘密：当尝试将关键信息放置在长上下文（例如 15 万 token 之后）的特定位置时，模型往往会“假装它不存在”，无法有效地检索和利用这些信息。这表明，许多宣称的“百万级上下文”能力，在很大程度上是一个受限于评测基准的营销数字，而非实际可用的、稳定的生产级特性。
从计算理论的角度看，推理成本并非随上下文长度线性增长。过长的上下文可能使注意力机制陷入一种类似“自旋玻璃”的复杂状态。过多的、弱耦合的 token 会在模型的表示空间中制造出大量浅层的、局部最优的“竞争盆地”，而非一个清晰、深邃的“信息深井”。简而言之，模型容易在信息的海洋中迷失方向，无法聚焦于真正相关的片段。
范式转变：从追求长度到优化内容
有趣的是，许多身处一线的实践者反而对无限制地延长上下文窗口表现出审慎的态度。一位开发者的观点颇具代表性：一段精心构建、高度相关的 1 万 token 上下文，其效果远胜于包含大量冗余和噪声的 10 万 token “大杂烩”。这标志着一个重要的范式转变：行业关注的焦点正从“我们能否装下所有数据”逐渐转向“我们应该在上下文中装入什么”。瓶颈的定义已经发生了变化。
更有激进的观点认为，与其在现有架构下艰难地拓展上下文窗口，不如从根本上改变模型与信息交互的方式，例如实现真正的“持续学习”能力。如果模型能够像人类一样，通过持续交互和更新内部状态来积累知识，那么固定长度的上下文窗口或许将变得不再必要。这可能是许多研究者真正努力探索的方向，只是由于技术难度极高，大部分进展仍潜藏在水面之下。
未来展望：架构创新与工程折衷
尽管面临挑战，前沿的探索并未停止。有消息透露，Google 内部已具备处理 1000 万 token 上下文的技术能力，只是受限于成本尚未商业化。而像 Magic LTM-2-Mini 和 Llama 4 Scout 这样的模型，更是宣称达到了 1 亿或 1000 万 token 的级别。然而，这些数字背后，依然横亘着三个残酷的现实瓶颈：所需的巨额算力、难以承受的推理成本，以及模型实际利用这些超长上下文的有效性。
一个生动的类比是：人类在喷气发动机真正实现量产前的几十年，就已经知晓其工作原理。当前大模型上下文长度的困境与之类似。在现有的 Transformer 架构下，即使实现 2 到 3 倍的改进，也难以带来体验上的质变。真正的突破可能需要有效上下文长度提升 100 倍甚至 1000 倍，这无疑要求研究者有勇气押注于全新的、颠覆性的模型架构。
在根本性突破到来之前，业界普遍采用“子代理”或“分层处理”等工程化方案来绕过限制。例如，Claude Code 这样的系统会先由主模型精心设计一段大小适中、内容精准的上下文，然后将其发送给一个专门的子代理进行处理并返回结果。这本质上是通过智能的预处理和任务分解，用软件工程的手段巧妙地规避了硬件的物理极限。
因此，当前的现状可以概括为：模型标签上可能写着“百万 token”，但实际生产中可靠、高效利用的部分，或许只有其十分之一。整个行业正在经历一场静默但深刻的转向——从盲目地“堆叠长度”转向智慧地“用好长度”。这个关于如何更高效、更精准地管理和利用信息的转变，其本身的价值，或许远比单纯追求一个更大的数字更为深远和重要。
原文链接： 大模型两年狂飙，为何上下文长度原地踏步？
