对齐微调中的梯度冲突与知识遗忘机制

梯度竞争现象在偏好优化中呈现出被低估的普遍性

模型在习得“礼貌”时往往伴随隐性能力损耗，但现有对齐实践常忽视这一局限。在当前的对齐微调实践中，研究者普遍将 RLHF 视为一种纯粹的行为校准工具，仿佛只要调整奖励模型的权重分布，语言模型就能在不损伤既有能力的前提下完成价值观的转向。这种假设建立在一种线性的工程直觉之上：输入一组偏好数据，输出一种更“安全”的生成概率。我倾向于认为，这种直觉掩盖了优化过程中真实发生的参数博弈。

训练日志显示的事实往往与此相反。偏好奖励信号一旦介入，模型在数学、历史、基础科学等领域的准确率就会出现可测量的下滑。这种下滑并非随机噪声，而是呈现出明显的系统性偏移。有意思的是，大多数团队将这种现象归咎于训练数据分布的不均衡，或者奖励模型本身的噪声干扰，进而通过增加高质量事实语料的混合比例来试图对冲。这种修补策略在早期阶段确实能缓解表面症状，却从未触及梯度更新的几何本质。

参数空间的修改从来不是局部且互不干涉的。当我们要求模型在回答敏感问题时输出符合规范的句式，优化器并不会只修改负责“风格”或“语气”的少数权重，而是沿着损失函数的梯度方向，对数以千亿计的参数进行全局调整。语言模型的表征能力并非被整齐地划分在不同子网中，知识、逻辑、风格、事实全部交织在同一组矩阵运算里。任何针对特定行为的梯度下降，都会不可避免地波及相邻的表征区域。

这里头存在一个经常被忽略的时间尺度问题。预训练阶段积累的权重矩阵已经形成了一个高度自洽的吸引子盆地，而微调阶段的优化目标则是试图将参数推向另一个曲率完全不同的极小值点。两个目标在参数空间中往往不在同一条测地线上，优化器只能在两者之间寻找妥协。实验观测表明，当奖励信号足够强烈时，模型会迅速遗忘那些原本稳定的常识性事实，因为新梯度的方向直接覆盖了旧梯度的累积效应。

将此类现象简单称为灾难性遗忘并不准确。遗忘暗示的是被动丢失，而 RLHF 中的参数变化更接近于主动覆盖。新偏好并非在旧知识旁边开辟新区域，而是直接沿着高曲率方向重写原有连接。

偏好奖励信号与事实表征的更新轨迹并不重合

预训练阶段的优化目标侧重于通过梯度下降最小化全局预测误差，而 RLHF 的梯度更新则更像是古腾堡印刷机突然介入，它不关心原有手稿的连笔习惯，只追求排版效率与版面统一。偏好优化的目标函数与事实检索的激活模式在数学表达上存在根本差异，导致两者的梯度方向呈现出显著的非正交性。

事实知识的表征通常依赖于稀疏且高度特化的激活模式。当模型回答“水的沸点是 100 摄氏度”时，相关的权重更新集中在词元嵌入与特定注意力头的关联通道上，这些通道在预训练末期已经收敛到极低的学习率区域。偏好奖励信号则完全不同。它要求模型在复杂语境中维持一致的语气、规避特定风险词汇、遵循冗长的安全指令。这些要求迫使模型激活更广泛的注意力层与前馈网络，梯度流沿着密集的参数通路传播，直接穿过那些原本处于稳定状态的事实表征区域。

后续研究基于 Ouyang 等人 2022 年发布的 InstructGPT 数据指出，RLHF 常伴随通用任务表现衰减，其机制多被解释为优化目标偏移。当监督微调（SFT）与人类反馈强化学习（RLHF）连续进行时，模型在通用问答任务上的表现会出现系统性衰减，即便训练数据中并未删除相关事实。这种衰减并非数据覆盖的直接结果，而是优化器在最小化 KL 散度与最大化奖励期望时，被迫在参数空间中走了一条偏离原有知识吸引子的捷径。

路径的偏离意味着权重的重新分配。当偏好梯度与事实梯度在某个参数维度上方向相反时，优化器会根据学习率与动量参数进行加权平均。由于偏好信号通常经过优势函数（Advantage Function）的放大，其梯度幅值往往高于事实表征的维持梯度，导致更新步骤直接跨越旧知识的稳定阈值。参数不是被慢慢磨损，而是被一次性拉向新的极小值区域。

更麻烦的是，这种偏移具有累积效应。随着多轮 PPO 迭代的推进，模型会逐渐形成一种新的权重分布习惯，即优先响应奖励模型的高置信度信号，而将低频事实表征的激活权重降级。知识并未消失，只是被推向了激活函数饱和区的边缘，需要极高的提示强度才能重新唤醒。

这解释了为什么微调后的模型在面对简单事实提问时，常常给出一段冗长且过度谨慎的免责声明。

权重复盖的发生条件由优化曲率主导而非数据规模

很多工程师将遗忘问题归咎于微调数据量过大，认为只要控制 SFT 阶段的数据比例，就能在偏好对齐与知识保留之间取得平衡。这种经验法则在浅层网络中或许有效，但在现代大语言模型的高维参数空间里，数据量从来不是决定性变量。真正决定权重复盖是否发生的，是优化曲率与参数敏感度之间的几何关系。

Kirkpatrick 等人在 2017 年提出的弹性权重巩固（EWC）算法首次用数学语言刻画了这一机制。他们证明，神经网络对某一任务的记忆保持能力，取决于该任务对应参数的 Fisher 信息矩阵对角线元素的大小。高 Fisher 值意味着该参数对原有任务的输出极为敏感，任何微小更新都会导致输出剧烈偏离；低 Fisher 值则意味着参数处于平坦区域，更新成本极低。在 RLHF 训练中，偏好优化器并不会自动识别哪些参数承载了关键事实，而是沿着当前奖励梯度的最速下降方向推进，直接无视原有曲率分布。

当偏好梯度穿过高曲率区域时，权重复盖几乎不可避免。优化器为了快速降低奖励损失，会在这些敏感参数上施加较大的更新步长，导致原有表征被强行拉伸或压缩。相反，如果偏好梯度恰好沿着低曲率的平坦地带传播，参数变化会被激活函数的非线性特性吸收，知识保留率便会显著上升。数据量只影响更新的总幅度，而曲率分布决定了更新的方向是否具有破坏性。

多轮对齐复现实验表明一种反直觉现象：某些团队使用极少量的高质量偏好数据进行微调，反而引发了比大规模混合训练更严重的知识退化。原因就在于那批偏好数据恰好触发了模型中少数几个高 Fisher 值的关键注意力头，梯度像手术刀一样精准地切断了原有事实通路。数据规模再大，如果曲率分布平缓，参数也只是在原地打转。

因此，试图通过控制数据比例来避免覆盖，本质上是在用统计手段解决几何问题。优化曲率由预训练语料的分布特征与模型架构共同决定，一旦进入微调阶段，曲率分布就已经固化。任何试图在平坦区域强行扭转模型行为的尝试，都会被迫挤压相邻的高曲率区域，除非优化器具备显式的曲率感知能力。

这也引出了一个更棘手的工程难题。

正交梯度投影无法消除偏好与知识的底层冲突

既然梯度方向冲突是覆盖现象的根源，学术界自然提出了各种梯度整形方案。其中最具代表性的是梯度投影（Gradient Surgery）技术，其核心思路是将偏好梯度投影到与历史知识梯度正交的子空间中，从而在不改变旧知识的前提下实现新目标的优化。这套理论在数学推导上极为优雅，但在实际部署中却暴露出严重的维度灾难。

正交投影的前提是参数空间能够被清晰划分为知识子空间与偏好子空间。现代语言模型的参数矩阵并不具备这种可分性。词向量嵌入层、多头注意力权重、前馈网络偏置项全部交织在一起，任何一个梯度向量都可以被分解为无数个基向量的线性组合。当我们试图计算偏好梯度与历史梯度的内积时，得到的往往是一个接近零的标量，但这并不意味着两者正交，而是因为高维空间中的随机向量天然具有近似正交的统计特性。这种伪正交性使得投影操作失去了实际约束力。

Yu 等人在 2020 年提出的梯度手术算法（PCGrad）在简单多任务学习场景中表现良好，但在千亿参数模型的连续优化中，投影矩阵的计算成本呈平方级增长。更关键的是，偏好优化本身是一个非凸过程，奖励信号随策略更新不断变化，历史梯度也在持续漂移。试图在一个动态变化的曲面上维持正交约束，相当于在流动的河水中固定一块礁石，最终只会让优化轨迹陷入局部震荡。

这里头的矛盾在于，正交化本质上是一种保守策略，它要求新梯度不触碰任何已有方向。但偏好对齐恰恰需要改变模型的生成倾向，完全的正交意味着偏好信号无法有效传播，模型只会重复预训练时的输出习惯。一旦放松正交约束，允许微小角度的偏移，投影操作就会退化为普通的梯度裁剪，失去原有的保护意义。

在数学上精确隔离这两种更新面临根本障碍。语言模型的知识表征并非存储在独立的抽屉里，而是分布在激活模式的干涉图样中。任何试图分离它们的努力，都会破坏表征本身的连续性。我承认，这只是我对当前优化几何的一种推演，可能忽略了某些尚未被形式化的正则化技巧，但现有的投影实验数据并不支持正交化能在大尺度上生效的判断。

梯度冲突无法被数学投影抹平，只能被工程策略重新分配。

检索增强与参数微调的适用边界取决于信息更新频率

既然参数更新必然伴随覆盖风险，工业界逐渐将补偿策略分为两条路径：检索增强生成（RAG）与定向参数微调。这两种方案并非优劣之分，而是针对不同类型知识衰退的结构性回应。它们的适用边界并不取决于技术成熟度，而取决于目标信息的更新频率与调用模式。

检索增强将事实知识外置到向量数据库与文档索引中，推理时通过相似性匹配动态注入上下文。这种方式彻底绕过了参数空间的梯度竞争，因为模型不再需要将新事实编码进权重矩阵，只需在生成过程中进行注意力加权。对于高频更新、时效性强、且具备明确文档来源的信息（如政策变动、市场行情、产品规格），RAG 提供了极高的容错率。即便模型内部的事实表征已经退化，外部检索依然能将其拉回正确轨道。

参数微调则适用于那些需要内化为推理直觉的知识。当某种行为规范或逻辑模式必须成为模型默认生成路径的一部分时，外置检索会引入显著的延迟与上下文窗口消耗。例如，要求模型在数学推导中默认使用某种特定符号系统，或者在代码生成中遵循某种架构范式，这类偏好无法通过每次查询附加提示来稳定维持。微调通过直接修改权重分布，将新规则固化为前向传播的默认路径，代价是必须承担覆盖原有知识的风险。

边界往往出现在中间地带。对于那些既不需要高频更新，又必须稳定内化的常识性事实，RAG 的检索开销显得冗余，而微调的覆盖成本又过高。此时工程团队通常会采用分层策略：将核心事实保留在预训练权重中，仅对边缘行为进行轻量级指令微调。这种做法本质上是在优化责任之间进行切割，让参数网络负责稳定的底层推理，让外部工具负责动态的事实校验。

有意思的是，这种切割正在重塑我们对“模型能力”的定义。过去我们认为，一个强大的模型应当将所有知识压缩进参数内部，检索只是弥补参数不足的临时手段。现在越来越多的实验表明，将高频变动信息外置，反而能释放参数空间用于更复杂的模式识别与逻辑推理。权重复盖不再是必须消除的缺陷，而是优化责任重新划分的副产品。

对齐目标的实现需要重新划分优化责任

RLHF 训练中的梯度竞争并非技术故障，而是高维参数优化在多重目标约束下的自然产物。偏好奖励与事实知识的更新轨迹之所以发生碰撞，是因为语言模型的表征空间并不具备天然的模块化隔离，任何行为校准都会在曲率引导下波及相邻的事实通路。正交投影与数据混合只能缓解表面症状，无法改变优化几何的底层限制。

检索增强与参数微调的分工，实际上是对这一限制的工程妥协。将易变信息外置，将稳定规则内化，模型不再试图用一个统一的权重矩阵承载所有目标，而是通过架构层面的责任分配来降低梯度冲突的发生概率。这种思路放弃了“全能参数化”的幻想，转向更现实的混合优化范式。

我倾向于认为，未来的对齐微调不会再追求单一的权重更新方案，而是会根据信息类型动态切换优化路径。有些知识适合留在参数深处，有些则更适合放在检索池里等待调用。权重复盖的发生条件不会消失，但我们可以选择让它发生在代价最低的地方。

当前对齐研究的焦点正逐渐从“如何避免遗忘”转向“如何设计合理的遗忘”。这并非放弃知识保留，而是承认参数空间无法同时容纳所有目标。当我们不再试图让模型记住一切，而是学会在何时调用外部工具、何时依赖内部权重之间做出判断，对齐训练的工程逻辑才算真正落地。

梯度冲突依然存在，但它不再是一个需要被彻底消除的障碍。