借鉴人类联想记忆，嵌套学习让AI在运行中构建抽象结构，超越Transformer的局限。谷歌团队强调：优化器与架构互为上下文，协同进化才能实现真正持续学习。这篇论文或成经典，开启AI从被动训练到主动进化的大门。
「灾难性遗忘」，一个困扰了AI界几十年的幽灵，这一次或许被彻底解决了。
过去一年，AI突飞猛进，绝非夸张的修辞，仅谷歌DeepMind一年的成就，就让人眼花缭乱：
但如果DeepMind要选2025年最重要的研究或产品，那最近火爆的嵌套学习「Nested Learning」必有一席之地。
有网友读过论文之后，发帖表示，这篇论文就是《Attention is All you Need》的「续集」。
如果Transformer开启了Scaling时代，那么嵌套学习，可能正在开启真正的AGI时代。
DeepMind创始人Shane Legg更直接，AGI一路坦途，最新进展就是嵌套学习。
甚至有网友表示，如果要给未来的外星人留一篇论文，必然是这篇《嵌套学习》。
如果实现AGI需要2-3项突破，持续学习可能就是其中之一，而谷歌已发表了多篇相关论文。
然而，这些论文有一个共同的作者──
康奈尔大学计算机科学系二年级博士生、谷歌研究院（纽约）研究实习生Ali Behrouz。
在多方面，Transformer表现出色，能够Scaling、推动AI跨越，能实现跨任务、跨领域的泛化能力。
但谷歌很早就意识到一件事：Transformer并不完美。
1. 长上下文处理效率低
2. 抽象知识层级有限
3. 适应性弱
4. 缺乏持续学习能力
特别是第四点，Ali认为那是最关键的问题。
当提到「持续学习」（Continual Learning），我们指的是：
没有训练期，也没有测试期；
模型在使用过程中，持续塑造新的记忆和抽象结构。
人类天生如此。
但对今天的大语言模型来说，几乎不存在任何「持续学习」。
为了说明问题有多本质，Ali用了一个医学上的类比：顺行性遗忘症（Anterograde Amnesia）。
这种病的患者有一个非常诡异的特征：
但问题在于：
发布时间：2026-01-09 11:16
立即订购
在线咨询
返回顶部