参数远超数据为何不会过拟合

经验规律断裂催生双下降现象

1995 年的统计学习文献中，模型复杂度与测试误差的关系被固定为一条 U 形曲线。曲线左侧欠拟合，右侧过拟合。最低点对应理论上的最优参数规模。这条曲线在机器学习领域沿用了近二十年。深度网络在 2010 年代中期突破千万级参数量。训练误差降至零后，测试误差并未按预期反弹。经验规律出现断裂。

曲线形态发生翻转。

过拟合峰值出现在训练误差恰好归零的瞬间，随后误差随参数继续增加而下降。双下降现象在 2018 年前后的多篇论文中被系统记录。传统偏差-方差分解假设，参数增加必然提升模型记忆噪声的容量（该推论在欠定系统中不再成立）。当可学习变量数量超过样本维度，满足零训练误差的解集从孤立点扩展为连续的高维子空间。优化算法并非在解集中均匀采样。随机梯度下降从随机初始化出发，沿着负梯度方向迭代，最终停留在特定位置。停留点由迭代轨迹唯一确定。大量实验表明，更换优化器或微调学习率，会直接改变测试精度。优化过程的动力学特征，正在取代单纯的参数规模。优化器类型与学习率调度表，直接决定了最终落在解集的哪个子区域。

梯度下降轨迹执行隐式特征筛选

轨迹的收敛偏好表现为隐式正则化。线性分类任务中，梯度下降倾向于输出权重范数最小的分离超平面。非线性网络的损失函数曲面更为复杂，但优化过程依然避开尖锐的局部极小值。平坦区域的 Hessian 矩阵特征值分布密集，权重扰动对输出的影响被压缩到较低水平。

优化路径本身就在执行特征筛选。

迭代早期，算法优先对齐数据协方差矩阵的主成分方向。特征空间中方差最大的投影轴被快速捕获。当训练误差逼近零时，剩余的自由度仅用于微调局部决策面。资源分配的时间差在训练数据与随机标签之间制造了显著的性能分化。拟合真实信号的迭代步数，显著少于拟合纯噪声所需的步数。这种现象在数学上被称为谱偏差：神经网络在学习初期对低频、平滑的信号响应更敏感，高频细节的拟合被推迟到训练末期。

数据分布与架构偏置划定泛化边界

过参数化提升泛化能力并非无条件成立。数据分布必须存在低维流形或局部连续性假设。输入与标签若完全独立，参数规模再大也无法产生有效预测。网络架构的归纳偏置同样关键（卷积核的平移不变性限制了函数族的搜索范围）。注意力机制的稀疏交互模式进一步过滤了冗余关联。参数膨胀只是扩大了先验假设的作用半径。若数据集本身缺乏平滑结构，双下降曲线的第二个谷底会变得极其平缓，甚至消失。

理论推导尚未统一非线性训练动态

理论推导与工程实践之间仍存在断层。现有的收敛性分析多依赖线性化近似或无限宽网络极限。有限深度下的非线性相互作用难以解析。部分研究尝试用神经正切核描述训练初期的梯度流，另一部分研究则强调特征学习阶段的动态演化。两种路径各自解释了现象的局部切面，尚未合并为统一的数学表述。实验观测到的隐式偏好，很可能同时包含优化器动力学、初始化分布与数据几何的叠加效应。

训练误差归零转为正则化新起点

调参逻辑随之改变。

工程师不再削减层数来压制模型容量。权重衰减系数与数据增强策略被用来控制优化轨迹的弯曲程度。模型容量直接决定可表示函数的集合大小。训练误差归零不再是危险信号，而是进入隐式正则化阶段的起点。算法在无数可行解中挑选最平滑的一个，数据分布的宏观规律被优先固化，高频噪声被留在未探索的权重角落。梯度下降走过的轨迹，完成了统计学意义上的筛选。