在深度学习的发展历程中，以随机梯度下降（SGD）和 Adam 为代表的一阶梯度下降方法是现代模型训练的基础优化算法。
然而，随着大语言模型（LLM）时代的到来，传统优化方法正面临硬件与系统层面的多重瓶颈，主要表现为反向传播引起的内存限制（内存墙）、分布式网络中的通信开销（通信墙）以及处理敏感数据时的隐私保护问题（隐私墙）。
面对这些工程挑战，优化算法的设计与演进方向正发生转变。
近日，来自浙江大学APRIL Lab、复旦大学、上海交大及新加坡国立大学的联合团队发布了最新长文综述，不仅系统回顾了深度学习优化算法的演进轨迹，还针对多种模型架构和训练场景对主流优化器进行了全面的实证评估，为下一代高效、鲁棒、可信的优化方法设计提供了极具价值的实践指南。
论文链接：https://arxiv.org/abs/2604.12968
项目链接：https://github.com/APRIL-AIGC/awesome-optimizer
图｜优化方法演化树，以经典基础方法为根节点，发展轨迹分支为一阶、二阶和零阶。节点大小反映引用影响力，不同聚类展示了从基础梯度更新到面向特定场景的高级框架的演进历程
在深入探讨优化器的演进历史之前，研究团队首先介绍了深度学习复杂的优化环境。
模型训练的本质是经验风险最小化，但在高维空间中，神经网络的损失地形是一片崎岖的非凸地带。这里不仅布满了诱导模型陷入停滞的鞍点，还隐藏着无数局部最优的陷阱。SGD正是通过巧妙利用随机梯度带来的噪声，才得以在这片崎岖的地形中跌跌撞撞地逃离鞍点，最终寻找到具备强大泛化能力的平坦极小值。而当我们步入超参数化时代，神经正切核（NTK）理论表明，在无限宽极限下，梯度下降训练的网络动态可近似为固定核上的核回归过程，从而为过参数化网络的优化收敛性质提供了理论解释。
图｜优化方法的量化演进时间线
针对现有文献中分类零散、演进脉络不够清晰的问题，研究团队构建了统一的数学分类框架，将底层的优化基元划分为三大类：
图｜代表性优化方法的分类与对比
1.一阶优化算法（FO）
作为当前应用最广的方法，FO依赖一阶梯度及其派生统计量以低计算开销实现收敛，并严格避免显式的二阶曲率近似。综述将FO梳理为8个维度，每个维度都针对基础算法的某一特定缺陷展开改进：动量机制有助于逃离鞍点，自适应步长减轻了人工调参负担，方差缩减机制能够加速病态区域中的收敛，稳定性机制保证了噪声环境下训练的鲁棒性，学习率调度优化了整体学习过程的推进，泛化增强技术致力于寻找平坦极小值，混合方法结合了不同策略的互补优势，而内存高效变体则使大规模模型训练成为可能。
为克服一阶方法的几何限制并实现结构优化，研究团队将目光转向能够明确纳入内在曲率的SO方法。
2.二阶优化算法（SO）
SO算法通过显式构建并结合真实的曲率信息（如海森矩阵Hessian或费雪信息矩阵FIM）来对更新方向进行预处理，旨在突破一阶算法的性能极限。
研究团队详细盘点了Hessian近似、FIM应用及拟牛顿法等为降低大规模计算复杂度而生的前沿方案。然而，SO方法严格要求函数必须具有二阶可微性，并且需要大量内存来实现曲率计算。随着深度学习向大规模LLM模型和不可微的黑盒环境发展，这些严苛前提条件形成了难以逾越的应用障碍，从而自然推动了后续详述的零阶算法的转型。
3.零阶优化算法（ZO）
针对大规模训练中反向传播带来的高额显存开销，零阶方法提供了一种可行的解决方案。该方法通过前向函数评估近似梯度方向，能够有效缓解显存限制。
随着大模型参数规模的急剧扩大以及应用场景的复杂化，仅从数学视角进行算法设计已无法完全解决实际工程中的瓶颈。现代优化器的设计趋势正在向结合系统架构的工程解决方案演进：
1.分布式优化
针对大规模计算节点间的通信瓶颈，通常引入梯度压缩（如量化与稀疏化）、局部更新策略及去中心化通信拓扑，从而实现高效的信息同步。分布式优化的发展演化，体现了一种从启发式单维压缩向具有理论保证的多维联合设计的范式转变。早期方法主要通过简单的梯度量化来降低通信开销，而后逐渐发展为能够同时处理方差缩减、曲率近似以及隐私噪声的复杂优化框架。
2.隐私保护优化
为了保障敏感数据的安全性，研究者探讨了差分隐私优化与梯度噪声注入技术，以在隐私保护强度与模型性能之间寻找最优平衡。全局裁剪具有实现简单的优势，但在异构训练阶段中的性能往往并不理想。自适应裁剪通过实时校准改善了效用与隐私之间的权衡，但同时引入了额外的计算开销。曲率感知裁剪则能够更充分地利用损失景观的几何结构，从而提升优化稳定性，但其代价是需要计算代价较高的曲率近似。
3.内存高效设计
针对大语言模型的超大规模参数，这篇综述分析了低秩梯度存储等策略，旨在受限的硬件显存条件下实现大模型的微调与训练。
现有研究中往往缺乏公平的跨架构对比测试，导致优化器选择缺乏可靠指导。
为此，研究团队建立了一个标准化的评估框架，在视觉任务（ResNet、ViT）以及因果语言建模（Llama）上，对23种不同优化器进行了大规模基准测试。 测试定量分析了不同优化器学习率敏感性、长期训练的可扩展性以及跨架构的泛化能力。
1.跨架构泛化与鲁棒性差异
实验表明，Muon和MARS在ResNet-50和Llama-60M上均保持优异性能（PPL≈12-14），即使在5×学习率下仍稳定；Kron、Lion、LAMB展现出良好的跨架构迁移能力；SGD系列在Llama上遭遇灾难性训练崩溃（梯度爆炸导致NaN），证明在高度各向异性的LLM损失景观中，缺乏自适应机制的一阶方法无法同时满足所有层的收敛需求。
2.长期训练可扩展性（100 vs 300 Epoch）
研究团队分析了优化器在延长训练周期时的行为差异，发现：
3.优化器相关性分析（轨迹动力学）
研究团队还计算验证损失一阶差分（而非原始损失）的Pearson相关系数，捕捉优化器的"内在节奏"而非整体趋势。关键发现如下：
当然，研究团队还指出了未来的几个研究方向。
例如，一阶方法可以从脆弱的经验调参转向自动生成架构特定的优化器；推进结构矩阵更新（如Muon的Newton-Schulz正交化），利用梯度统计的几何结构；集成自适应低精度算术，动态调整数值精度以平衡内存占用与收敛稳定性。
二阶方法可以将结构感知自适应（如TK-FAC的迹保持分解）与低精度算术结合，设计适合现代AI加速器（GPU/TPU）内存层次结构的稀疏矩阵运算；探索高效稀疏矩阵求逆技术，在保持二阶信息优势的同时实现与一阶基线相当的全局效率。
零阶方法则可以从精确梯度校正机制中汲取灵感（如VAMO的方差降低），数学上消除不同网络架构引入的固有随机噪声，稳定高度变化的更新步长。
本文来自微信公众号 “学术头条”（ID：SciTouTiao），投稿作者：浙江大学 April团队，36氪经授权发布。
发布时间：2026-05-25 20:12
立即订购
在线咨询
返回顶部