TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. 大模型两年狂飙,为何上下文长度原地踏步

大模型两年狂飙,为何上下文长度原地踏步

2026年02月09日•TechFoco 精选

大模型两年狂飙,为何上下文长度原地踏步?

大模型两年狂飙,为何上下文长度原地踏步?

| 帖子 Simon Willison 抛出一个有趣的观察:过去两年大模型能力突飞猛进,唯独上下文长度几乎没动。

我们在20万到100万token这个区间已经停留很久了。

他的判断是,这更像一个硬件瓶颈。

上下文需要显存,而内存带宽是核心制约因素。

但讨论中涌现出更深层的洞见。

有人指出,真正的瓶颈不是长度,而是注意力质量。

一个能真正追踪依赖关系的20万token窗口,远胜于读到第50页就忘了第3页的200万token窗口。

这话说到点子上了。

另一位开发者分享实战经验:试着把关键信息放在15万token的位置,然后看模型假装它不存在。

这才是行业不愿公开的秘密。

所谓的百万级上下文,很大程度上是营销数字。

从技术角度看,推理成本不是线性增长的。

长上下文会把注意力机制变成一种类似自旋玻璃的状态,太多弱耦合的token会制造出大量浅层竞争盆地,而不是一个深井。

简单说,模型会迷失在信息海洋里。

有趣的是,实践者们反而不那么渴望更长的窗口。

一位开发者说得好:1万token精准的上下文,胜过10万token的大杂烩。

文章配图 1
文章配图 1

瓶颈已经从「能不能装下」转移到「该装什么」。

还有人提出更激进的观点:与其追求更长的上下文,不如实现持续学习,让上下文窗口扩展变得没有必要。

这可能才是研究者们真正努力的方向,只是持续学习太难,进展都藏在水面下。

据透露,Google内部已有1000万token的上下文能力,只是成本上还不可行。

而Magic LTM-2-Mini声称达到1亿token,Llama 4 Scout推到1000万。

但这些数字背后,是三个残酷的瓶颈:算力、成本、以及模型实际利用这些上下文的能力。

一个类比很贴切:人们在喷气发动机真正量产前几十年就知道它能工作。

同样的动态正在上演。

当前架构下,2到3倍的改进不会带来惊艳感。

真正的突破需要100倍甚至1000倍的有效上下文提升,这需要有人愿意押注全新的模型架构。

目前的解决方案是子代理模式。

Claude Code可以精心设计恰到好处的上下文,发送给子代理,等待回复。

这本质上是用工程手段绕过了硬限制。

所以现状是:标签上写着百万token,实际可用的可能只有十分之一。

行业正在从「堆长度」转向「用好长度」。

这个转变本身,或许比单纯的数字增长更有价值。

文章链接

  • 查看原文https://x.com/simonw/status/2018706006457360690

相关标签

大语言模型上下文窗口注意力机制Transformer架构推理成本

继续阅读

较新文章

一位开发者深夜调试代码,常规提问毫无进展

较早文章

LLM智能体正在成为新一代高级编程语言 | blog 一个大胆的假设:C语言之于汇编,Java之

相关文章

查看更多

Claude Sonnet 5.5 面向日常编码与快速迭代 Sonnet 5.5 提升了代码库理

Claude Sonnet 5.5 面向日常编码与快速迭代 Sonnet 5.5 提升了代码库理解、缺陷修复和长程工具协作能力,是更复杂任务模型的低成本补充。

2026年10月03日
ClaudeSonnet

Naive-N0.5-Flash 开放编码模型与推理实现 面向编码和 AI 研发的模型采用 30

Naive-N0.5-Flash 开放编码模型与推理实现 面向编码和 AI 研发的模型采用 309B MoE、15.5B 激活参数,原生支持百万 token 上下文,权重和推理代码以 MIT 许可开放。

2026年10月03日
MoE大语言模型

Gemini 4 Argon 首批面向网络防御者开放

Gemini 4 Argon 首批面向网络防御者开放 Gemini 4 Argon 面向长程编码、代码库迁移和漏洞发现、验证与修复,单次输出上限提高至 100 万 token。

2026年10月01日
Gemini 4 Argon
大语言模型
🤖 Claude Fable 5.1 正式发布,1M 上下文窗口、定价与前代持平,缓存读取价格

🤖 Claude Fable 5.1 正式发布,1M 上下文窗口、定价与前代持平,缓存读取价格

🤖 Claude Fable 5.1 正式发布,1M 上下文窗口、定价与前代持平,缓存读取价格降至四分之一;Mythos 5.1仅限邀请 Claude Fable 5.1 于 2026 年 9 月 1 日发布,定位长时程智能体与复杂推理任务。

2026年09月02日
大语言模型长上下文
OpenAI 面向企业预览 GPT-5.6 Sol UltraFast 超快模式,运行速度是标准

OpenAI 面向企业预览 GPT-5.6 Sol UltraFast 超快模式,运行速度是标准

OpenAI 面向企业预览 GPT-5.6 Sol UltraFast 超快模式,运行速度是标准模式的 14 倍,每秒最多可以生成 750tokens。

2026年08月17日
OpenAIGPT-5.6
Codex 可以通过配置文件开启 1M 上下文窗口,在某些场景下可能可以提高效率,但配额消耗更快

Codex 可以通过配置文件开启 1M 上下文窗口,在某些场景下可能可以提高效率,但配额消耗更快

Codex 可以通过配置文件开启 1M 上下文窗口,在某些场景下可能可以提高效率,但配额消耗更快。

2026年08月17日
CodexGPT-5.6