俯拍在木地板上休息的人们

模型上线那天就停止学习了

大模型的能力在预训练那一刻基本定型。上线之后，它靠上下文可以临时学会一点东西，但会话一结束，信息就跟着上下文一起消失；如果直接拿新数据去微调参数，又会碰上灾难性遗忘——学了新的，旧的本事明显退步。Google Research 在 10 月 27 日的一篇博客里给出了另一条路：让模型像人一样，有清醒与睡眠的交替节律。

现在的两种主流做法各有硬伤。上下文学习把资料塞进提示词，当场能答，但记忆只活在这段会话里，长文档还要吃掉大量窗口；持续微调把知识训进参数，代价是旧能力被覆盖。研究者的概括很直白：要么记不住，要么记住新的忘了旧的。

清醒期与睡眠期

sleep 框架把模型生命周期切成两种状态。清醒期正常接收输入、处理请求，把临时信息存在高频的短期记忆里；睡眠期停止接收新输入，把算力全部转向记忆巩固和自我改进。要注意“睡眠”“做梦”只是借喻：整套机制跑在固定架构和人类设定的训练规则内，不是说模型有了意识，更不是让它自己改代码。

睡眠里做的两件事

第一件是记忆巩固。模型在睡眠期解锁预先分配好的 MoE（混合专家）记忆块，把新增容量挂到低频的稳定参数区，避免覆盖旧知识；再用广义知识蒸馏加强化学习式的模仿，把短期记忆里的内容“播种”进新参数。巩固完成后，高频临时参数被重置——所谓的突触剪枝——把容量还给下一次清醒。

第二件是做梦。生成合成样本时，路由被强制随机激活非常规专家，逼模型把不相干的领域混在一起去找潜在规律；再用基于梯度的数据筛选挑出最有价值的样本做有监督微调，并回测是否真的提升了任务表现。研究者给的理论解释是：它在拓宽梯度方向、改善优化景观，而不是简单的数据增强。

几个能对账的数字

博客给出的结果比较具体。长上下文测试 BABILong 上，这套方法在 1000 万 token 规模仍接近满分，优于 GPT-4 与自家此前的 Titans；事实注入在 SQuAD 单任务上 48.9%，继续预训练场景 46.2%；数学推理在 AIME 24、AIME 25、HMMT 25 上分别是 79.2%、69.0%、46.1%；连续翻译用满语和 Kalamang 语做多阶段测试掉点接近零，而上下文学习、Cartridges、有监督微调都出现严重遗忘。论文编号 arXiv 2606.03979，可以逐条核对。

对小团队的实际启发

这项研究短期不会变成能直接调用的接口，但它点出了企业知识管理里一个错位。现在把企业知识喂给模型的常见做法是检索增强——每次提问现查现用，知识始终停在“临时记忆”层。真正稳定的做法应该分层：高频变动的业务数据走检索，长期不变的产品口径、术语表、话术规范则要“巩固”进固化层，比如系统提示、微调样本或规则库。

分清“该记一辈子的”和“这次用一下的”，比堆多少 token 的上下文都省钱。这也是给客户做 AI 落地时最容易被跳过、却最先暴露问题的一步。