跳到正文
热点事件持续更新

Google提出LLM持续学习睡眠框架

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Google Research提出“sleep”框架,让大语言模型在活跃交互与离线记忆巩固之间交替,以持续学习新知识并减少灾难性遗忘。框架结合MoE参数扩展、GKD与RL模仿学习来巩固记忆,并利用合成练习样本进行自我改进。论文称,该方法在BABILong上支持接近完美的1000万token上下文扩展,并在SQuAD、CPT、AIME 24/25及HMMT 25上取得文中所列结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Google Research
    Google Research 提出 sleep 框架,让 LLM 在持续学习中巩固知识

    Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间交替,持续学习新知识并减少灾难性遗忘。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习巩固记忆,再以合成练习样本开展自我改进;在 BABILong 上支持接近完美的 10M tokens 扩展,并在 SQuAD、CPT、AIME 24/25 和 HMMT 25 上取得文中所列结果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。