有限维度下的特征重叠与干涉机制

有限激活空间迫使网络放弃独立存储

为什么神经网络的隐藏层尺寸总是小于潜在概念的总数。

多数人的直觉是网络应该给每个语义单元分配专属的激活通道。这种想法源于早期符号主义的设计传统。人们习惯将知识拆解为互不干扰的独立模块，如同图书馆为每本书分配固定的书架编号。现实中的权重矩阵并不遵循这种理想化的对应关系。

Elhage 等人在 2021 年发表的 Transformer 电路框架论文中明确指出，现代模型必须在固定维度内表征数量远超层宽的特征。网络被迫选择共用同一组激活值。这种选择不是架构师的妥协，而是线性代数约束下的必然结果。低维空间无法无损映射高维信息，网络必须在存储效率与表征精度之间寻找平衡点。

它放弃为每个特征保留正交基底。它允许不同的概念投影到相似的激活方向上。这个过程在数学上表现为向量空间的角度压缩。

部分观点认为这种重叠会直接破坏语义的清晰度。但训练过程中的损失函数并不这样看待。

重叠存储通过几何分离实现信息复用

网络如何在同一个激活向量中区分不同的特征。

答案不在数值大小，而在方向夹角。

当两个概念共享同一组神经元时，它们的激活值会形成特定的叠加态。网络通过调整权重矩阵的列向量，使不同特征对应的方向尽量保持分散。这种几何分散性允许后续层通过简单的线性投影将混合信号重新拆解。

粗略地说，这类似于古罗马的共用道路系统。不同货物在同一车道上通过错峰通行与方向偏转实现高效流转，而不是为每种货物修建独立的专用公路。

这种机制依赖于高维空间的统计特性。随着表示空间增加，随机向量趋于正交的概率会显著上升。网络利用这一规律，在有限的激活范围内塞入更多独立特征。Elhage 等人在 2022 年的《Toy Models of Superposition》中已经量化了这种分离的收益。模型不需要扩大隐藏层宽度，只需要优化特征向量的分布角度。

该机制成立的前提是特征本身具备一定的独立性。当概念高度相关时，分散分离的难度会成倍增加。网络此时会退而求其次。

它容忍一定程度的相互干涉。

独立编码在泛化测试中暴露出冗余缺陷

如果强行要求每个特征占据独立维度，网络会付出什么代价。

最直接的后果是参数空间的极度浪费。每个独立通道都需要完整的权重矩阵进行映射。这意味着模型的总参数量会随特征数量线性膨胀。计算资源被大量消耗在维护隔离性上，而不是学习特征之间的关联。

泛化能力随之下降。

独立编码假设特征之间不存在交互。现实数据却充满协同变化。天气变冷与羽绒服销量上升从来不是孤立事件。网络如果将它们硬塞进互不干涉的通道，就会丢失这些交叉规律。测试集上的分布偏移会立刻击穿这种脆弱的隔离墙。

我在复现早期全连接网络实验时观察到这一现象。强制正交约束的模型在训练集上收敛极快。一旦遇到未见过的特征组合，预测误差就会急剧放大。独立存储更像一种机械的归档方式，缺乏应对未知组合的弹性。

重叠表示则保留了特征间的相对位置。

它允许模型在遇到新样本时，通过已有方向的加权组合进行推演。这种推演依赖底层的几何连续性。

干涉噪声并非缺陷而是表征压缩的代价

特征重叠必然引入相互干扰。

当两个方向的夹角缩小时，激活值的微小扰动会被放大为语义层面的混淆。这种现象在工程实践中被称为串扰。

传统观点倾向于将串扰视为需要消除的系统误差。早期研究者设计了多种正交正则化项，试图强行拉开特征距离。这种思路忽略了信息压缩与表征干涉之间的内在交换关系。干涉并非纯粹的噪声，而是信息密度提升的必然副产品。模型无法在维持高维投影精度的同时，又要求低维激活空间绝对纯净。Transformer Circuits 团队在 2022 年关于多义性（polysemanticity）的正式论述中明确指出，适度的多义性反而有助于模型捕捉跨概念的底层共性。如果强行消除所有干涉，网络就必须放弃压缩率，退化为一个机械的线性映射器。这不仅会耗尽算力，还会切断概念之间的隐性关联。

真正的挑战在于控制干涉的分布。

网络通过非线性激活函数裁剪过大的叠加响应。整流单元的门控特性天然过滤了低置信度的混合信号。只有当某个特征的主导强度超过干扰总和时，该方向才会被有效传递。

这种筛选机制并不完美。

它在处理罕见概念时容易误判。

训练动态通过稀疏性重塑重叠区域的稳定性

网络并非被动接受干涉。

它在梯度下降过程中主动调整特征的分布形态。稀疏性正则化是维持稳定性的核心手段之一。

当损失函数对激活值的绝对值施加惩罚时，网络会倾向于让少数神经元在特定时刻保持高亮。其余大部分通道则被压制到接近零的状态。这种动态稀疏化有效降低了同一时刻内活跃特征的交叉数量。

我认为这种机制更接近人类注意力的运作方式。

大脑在同一时刻只能清晰处理有限的信息流。神经网络通过 L1 正则或激活惩罚实现了类似的资源分配策略。活跃通道承担了主要表征任务，休眠通道则作为潜在的备用空间。

这种交替激活的模式缓解了静态正交性的僵化。

特征可以在不同样本中轮换使用同一组物理神经元。只要时间轴上的激活序列不发生重叠，空间上的干涉就会被大幅削弱。

实验数据支持这一判断。

引入稀疏约束的模型在分布外测试中表现出更强的鲁棒性。

特征复用机制决定模型的实际泛化上限

重叠存储与独立存储的争论最终会落回效率与精度的权衡。

独立编码适合概念边界极其清晰、且不需要组合推理的场景。一旦任务要求模型进行跨域迁移或零样本推演，正交隔离就会成为瓶颈。重叠表示通过共享底层几何空间，为特征重组提供了数学基础。

网络利用同一组激活值承载多重语义。

它牺牲了单点解析的透明度，换取了全局组合的灵活性。这种设计在计算资源受限的条件下尤为关键。

目前的理论推演仍停留在静态几何分析层面。动态训练过程中，特征方向如何随批次数据发生漂移，尚未得到完整的数学刻画。我对这个问题的完整图景还没有完全厘清。现有的实验更多依赖可视化工具进行经验性验证。

特征复用不是工程的权宜之计。

它是有限维度下信息论的最优解。