大模型上下文长度为何停滞不前？

过去两年，大型语言模型在诸多能力上突飞猛进，但一个引人注目的现象是，其上下文长度（Context Length）的增长似乎陷入了停滞。开发者 Simon Willison 观察到，模型的有效上下文窗口长期停留在 20 万到 100 万 token 的区间。这引发了技术社区的广泛讨论：为何在模型能力狂飙的时代，上下文长度却原地踏步？

核心内容

初步分析常将瓶颈归因于硬件。处理长上下文需要大量显存，而内存带宽是核心制约因素。然而，更深层的讨论揭示了更复杂的原因。

真正的瓶颈或许并非长度本身，而是注意力机制的质量。一个能精准追踪长距离依赖关系的 20 万 token 窗口，其实际效用可能远超一个读到后面就忘记前面的 200 万 token 窗口。有开发者分享实践经验：将关键信息置于长上下文（例如 15 万 token 位置）时，模型可能完全忽略它。这表明，宣传中的“百万级上下文”在实际应用中可能大打折扣，有效利用长度远低于标称值。

从技术原理看，过长的上下文会使注意力机制面临挑战。推理成本并非线性增长，大量弱关联的 token 会形成类似“自旋玻璃”的状态，制造出众多浅层的“竞争盆地”，导致模型在信息海洋中迷失，而非聚焦于关键信息。

因此，实践者的关注点正在转移。精准的 1 万 token 上下文可能比混杂的 10 万 token 更有价值。瓶颈问题已从“能否装下”转变为“该装什么”以及“如何用好”。

更激进的思路是探索持续学习（Continual Learning），让模型能够持续更新知识，从而降低对超长固定上下文窗口的依赖。但这被公认为技术难题，进展缓慢。目前，行业也出现了一些工程解决方案，例如子代理（Sub-agent）模式，通过精心设计并分发上下文来绕过架构限制。

尽管有研究（如 Google 内部实验）或部分模型声称实现了千万乃至上亿 token 的上下文能力，但其背后仍面临算力、成本和模型实际利用能力三大瓶颈的严峻挑战。