热点事件持续更新
Google提出LLM持续学习睡眠框架
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Google Research提出“sleep”框架,让大语言模型在活跃交互与离线记忆巩固之间交替,以持续学习新知识并减少灾难性遗忘。框架结合MoE参数扩展、GKD与RL模仿学习来巩固记忆,并利用合成练习样本进行自我改进。论文称,该方法在BABILong上支持接近完美的1000万token上下文扩展,并在SQuAD、CPT、AIME 24/25及HMMT 25上取得文中所列结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 01:35
Google Research公布sleep框架及多项长上下文与知识测试结果。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Google ResearchGoogle Research 提出 sleep 框架,让 LLM 在持续学习中巩固知识
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间交替,持续学习新知识并减少灾难性遗忘。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习巩固记忆,再以合成练习样本开展自我改进;在 BABILong 上支持接近完美的 10M tokens 扩展,并在 SQuAD、CPT、AIME 24/25 和 HMMT 25 上取得文中所列结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。