谷歌研究提出“睡眠框架”：让大模型在离线巩固期吸收新知识并减少遗忘
谷歌研究（Google，谷歌 Research，美国科技公司谷歌旗下的研究机构）提出面向大语言模型（LLM）的持续学习“睡眠框架”：模型在活跃交互阶段把新信息存入短期记忆，在离线“睡眠”阶段通过扩展专家记忆、知识蒸馏与合成数据自我练习，将短期信息写入长期参数。
作者报告该方法在长上下文、持续翻译和事实知识注入等评测中优于上下文学习（ICL）与监督微调（SFT）等基线。 这是研究团队博客公布的实验结果，尚未经过独立复现或同行评审。
谷歌研究作者 Ali Behrouz（谷歌与康奈尔大学）、Farnoosh Hashemi（康奈尔大学）、Adel Javanmard（谷歌与南加州大学）与 Vahab Mirrokni 于 2026 年 10 月 27 日发布博客，介绍持续学习中的“睡眠框架”。 该框架把模型生命周期分为活跃（wake）与睡眠两个阶段：活跃阶段接收输入并存入短期记忆；
睡眠阶段分为记忆巩固与“做梦”两部分，前者解锁预分配的低秩专家模块并更新权重，后者随机激活混合专家（MoE）路由中的非标准专家、生成合成训练样本并用梯度筛选与强化学习（RL）精炼。 作者报告在 BABILong 长上下文基准上可扩展至 1000 万 token； 在 SQuAD 与持续预训练（CPT）评测中分别达到 48.9% 和 46.2%；
在 AIME 24/25 与 HMMT 25 数学推理基准上分别达到 79.2%、69.0% 和 46.1%，均高于其列出的基线。
这项工作针对部署后模型知识冻结与持续更新之间的矛盾：全量重训成本高，而上下文学习（ICL）的知识只在当前窗口内有效。 睡眠框架把“记忆写入”从在线交互中拆出来，放到离线周期完成，并用动态扩容降低新旧知识冲突。 需注意，文中性能数字均为作者自测的对比结果，基准设置、基线实现与评测细节未见第三方复核，不能据此推断真实部署中的长期稳定性或成本优势；
长上下文“近乎完美扩展至 1000 万 token”的比较对象为 GPT-4 与 Titans 等基线，同样属作者口径。
后续观察信号
- 睡眠框架与现有参数高效微调、检索增强方案的成本对比
- 动态扩展专家模块对推理延迟的影响