高维损失曲面上的鞍点与平坦极小值

低维几何直觉在高维空间失效

柯西于一八四七年在《法兰西科学院院刊》正式提出最速下降法，该方法的原始推导原本讨论的是微分方程迭代法。我早年翻阅优化理论时，脑子里装着一只玻璃弹珠沿着抛物面滚落，最终卡进凹坑底部。这种低维直觉非常牢固，它把损失函数压缩成一座拥有明确谷底和山脊的微型丘陵，梯度下降被简化为顺着最陡坡度滑行的机械动作。参数规模跨过十万量级之后，这套几何直觉直接失效。

海森矩阵的特征值分布彻底改变了临界点的性质。随机矩阵理论推演过，当变量数量呈指数级扩张时，目标函数驻点的曲率符号呈现高度随机性。正负特征值各占一半的概率逼近极限值，这意味着绝大多数梯度为零的位置都是鞍点。三维空间里难以跨越的马鞍形曲面，在高维空间里退化为特征值符号交错的普通驻点。

随机噪声主导鞍点区域的逃逸

梯度下降算法在这里的表现，和教科书上的推演完全脱节。

算法踏入鞍点邻域时，海森矩阵会暴露出大量接近零的特征值，对应方向的曲率微乎其微，常规步长下的参数更新几乎失去约束。动量积累与随机梯度引入的方差开始主导运动轨迹，参数向量沿着负曲率方向持续偏移。十九世纪数学家分类临界点依赖解析展开，现代训练依赖统计扰动。噪声提供了一种非对称的推力，它把停滞的权重向量推离零梯度区，顺着损失下降最快的本征向量加速。这个过程不需要显式求逆，只需要迭代步数足够多，且学习率衰减曲线匹配特征谱衰减速度。优化器在千万级参数构成的空间里穿行，遭遇平坦区域的概率极高，但它极少真正停驻。它顺着负曲率方向持续滑移，直到落入局部极小值盆地。

平坦极小值并非泛化优势的根源

极小值出现之后，讨论重心转移到曲率平坦程度上。

平坦极小值对应海森矩阵特征值整体偏小的参数配置。学界长期争论这类解是否必然带来更优的测试集表现。一种立场认为，平坦区域的权重对输入扰动不敏感，参数微小变动不会引发输出分布的剧烈震荡，这符合泛化的鲁棒性预期。另一种立场指出，损失函数的平坦程度可以通过变量重映射人为拉伸。二〇一七年有工作通过非线性变换表明，同一个网络可以在保持输入输出关系不变的前提下，把尖锐的极小点改造成宽阔的盆地。泛化差异的根源可能不在几何形状本身，而在于优化轨迹穿过的参数子空间是否天然具备低复杂度先验。我把这两条线索拼合起来看。平坦性只是权重分布趋于均匀时的自然结果。当模型在训练集上锁定一组参数时，如果这组参数让多个方向的梯度同时衰减，通常说明该解没有死记硬背样本中的高频噪声。训练误差的局部波动不会被线性放大到验证集。

训练调度决定收敛轨迹的几何形态

实际调度中的批量大小与学习率策略，直接决定轨迹最终收敛的几何形态。大批次训练倾向于落入尖锐极小点，因为梯度估计的方差被压到极低，更新路径高度确定，它沿着最速下降方向直线切入谷底，没有横向探索的余地。小批量注入的随机性迫使轨迹在盆地边缘反复震荡，最终停留在一个水平切面较大的区域。这种模式在图像分类与序列建模任务中反复出现。平坦区域对部署阶段的量化误差容忍度更高，定点运算引起的权重偏移在宽谷里仅触发水平方向的权重漂移。

优化器在参数空间里的运动受噪声、曲率与步长共同约束。我们不再把高维损失曲面视为可以俯瞰的实体，它更像一张铺在多维空间里的滤网，水滴落下时顺着纤维纹理自动分流。传统优化依赖解析几何定位极值，现代训练则通过梯度方差识别负曲率通道。算法穿过鞍点区域时依赖的是几何概率提供的逃逸方向，不需要设计专门的惩罚项或动量修正。平坦极小值与测试指标的关联依然停留在经验层面，重参数化理论让单纯的几何归因变得复杂，但小批量策略带来的轨迹扩散确实能提升部署稳定性。调整学习率衰减表时，我们真正改变的是搜索半径。当模型参数量继续扩张，训练日志里的损失下降曲线越来越平滑，验证集上的指标波动越来越窄，我们还能单纯依赖海森矩阵的特征值谱来判断下一步的权重更新轨迹吗。