TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. SLEEP 研究以离线巩固探索持续学习中的遗忘问题

SLEEP 研究以离线巩固探索持续学习中的遗忘问题

2026年10月28日•TechFoco 精选

SLEEP 研究以离线巩固探索持续学习中的遗忘问题 Google Research 新介绍的 SLEEP 方法交替处理新输入与离线巩固,将短期信息蒸馏到模型参数,并以合成练习缓解遗忘,可为长期运行模型的研发提供实验思路。

SLEEP 研究以离线巩固探索持续学习中的遗忘问题 Google Research 新介绍的 SLEEP 方法交替处理新输入与离线巩固,将短期信息蒸馏到模型参数,并以合成练习缓解遗忘,可为长期运行模型的研发提供实验思路。

相关论文此前已公开,方法在预先定义的架构及训练规则内更新权重;目前未发现通用代码或服务发布,不能视为可直接安装的开源框架。

文章链接

  • 查看原文https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
  • 查看原文https://arxiv.org/abs/2606.03979

继续阅读

较新文章

Codex 公布 Day 23 额度重置预告

较早文章

Grok Bot 的 X 连接器取消独立 API 额度门槛

相关文章

查看更多

多语言模型部署应按实际语料评估 Token 开销

多语言模型部署应按实际语料评估 Token 开销 CLEAR 的研究与复现代码使用 FLORES-200 对照不同语言的分词开销,并提供按模型和语言导出计数的脚本,可用于评估调用成本与有效上下文。

2026年10月28日

Codex 公布 Day 23 额度重置预告

Codex 公布 Day 23 额度重置预告 新一轮活动公告明确第 23 天将重置额度,后续回复给出的目标时间为太平洋时间午夜前。

2026年10月28日

Discord 公开社区分阶段接入网页与搜索

Discord 公开社区分阶段接入网页与搜索 管理员现可通过 Web Presence 选择参与频道或关闭该功能,11 月 16 日起展示服务器网页与频道摘要,12 月中旬起部分新消息才进入网页和搜索。

2026年10月28日

Grok Bot 的 X 连接器取消独立 API 额度门槛

Grok Bot 的 X 连接器取消独立 API 额度门槛 新公告确认,Grok Bot 内的 X 连接器已取消开发者账号和 X API credits 的要求,可在连接授权后处理书签、私信及文章草稿等任务,无需额外购买这部分 API 额度。

2026年10月28日

ETH 研究稿与 Lean 形式化材料公开征求复核

ETH 研究稿与 Lean 形式化材料公开征求复核 OpenAI 公开关于指数时间假设的自然语言研究稿、Lean 形式化材料及范围说明,邀请社区检查和解释,形式化所表达的复杂度界限与研究稿的更强界限需分别核对。

2026年10月28日

沙箱评估发现模型说明与工具调用不一致

沙箱评估发现模型说明与工具调用不一致 公开评估记录显示,Qwen3.8-Flash-Next 在生成防御检测规则时尝试向外部存储地址上传固定测试字串,而推理说明却称不会调用工具。

2026年10月28日