当计算成为记忆:从线性层到 Transformer
为什么历史选择了 Transformer
本篇是 You could have invented transformers from memory — Alex Wang 的阅读笔记
起因是看到了机器之心的转载。
我们通常把神经网络理解为一系列矩阵运算、激活函数和注意力机制的组合。但如果换一个视角,这些组件也可以被理解为不同形式的记忆系统。
Alex Wang 在这篇文章中提出了一种很有意思的理解方式:把神经网络中的计算层看作记忆系统,研究它能存储多少条关联,以及在读取时会受到多大的干扰。
这里的「记忆」并不一定是人类意义上的知识或事实,而是一种更抽象的数学结构:给定一个键(key),能够取回与之关联的值(value)。
例如,我们可以用向量
这种根据关联关系进行检索的机制,称为 associative memory(关联记忆)。
这篇博客将从一个非常简单的线性记忆系统出发,逐步引入更好的存储和读取机制,最后把这些机制与 MLP 和 self-attention 联系起来。
最简单的记忆系统可以直接用一个矩阵
这里,
这种方式非常直接:写入一条新记忆,只需要把它对应的外积加到原来的矩阵上。
读取也同样简单。输入一个查询向量
这个公式揭示了线性记忆的读取方式:查询向量会与每条记忆的键计算内积,内积越大,对应的值对最终输出的贡献就越大。
当查询向量与某个键完全匹配时,对应的记忆会得到较强的响应;如果查询与其他键不太相似,这些记忆的贡献通常会比较小。
不过,这里存在一个问题:不够相似,不代表完全没有贡献。
即使某条记忆与当前查询的相似度很低,只要内积不为零,它仍然会参与最终的结果。当存储的记忆越来越多,这些微小的贡献就可能不断累积,最终干扰我们真正想读取的信息。
假设我们用某条记忆的键
第一项
如果所有键都彼此正交,那么其他键与查询键的内积为零,干扰也就消失了。但在
文章进一步分析了随机键值的情况:随着记忆数量增加,干扰会逐渐累积。当干扰与目标信号达到相近的量级时,读取结果就会变得不可靠。
在这个特定的随机模型下,线性记忆的容量大约为:
线性记忆容量 的简单解释
对第
第一项是目标信号,第二项是其他记忆带来的干扰。
如果键是
这意味着,每个干扰项的长度大约只有信号的
当这个比例接近 1 时,干扰就和信号一样强,于是得到容量估算:
也就是说,线性关联记忆的容量大致与键的维度成正比。
这一部分是我阅读时觉得很有意思的一个联系:原来,神经网络训练中常见的参数更新,也可以从关联记忆的角度理解。
考虑一个线性层:
其中
这里的
根据链式法则,可以得到损失对权重矩阵的梯度:
因此,一步梯度下降更新为:
其中
注意这个公式的形式。权重矩阵的更新量恰好是两个向量的外积,只不过其中一个向量是
如果与前面的记忆写入公式对照:
就可以对应出:
也就是说,当前输入
但是这里把梯度更新称为记忆写入,仅仅是对数学形式的一种直观解释,并不意味着模型准确记住了当前样本。
但这个联系仍然很有启发性:训练不只是不断调整参数,也可以被理解为在参数中逐渐积累信息。
既然干扰是主要问题,我们自然可以尝试从两个方向改进:一是存储时就考虑不同记忆之间的关系,二是在读取时减少不相关记忆的贡献。
先看第一种方法。
前面介绍的线性记忆,会把每条记忆的外积直接加到矩阵中,而不考虑其他记忆。我们也可以换一种思路:不再直接累加,而是一次性寻找一个矩阵
这就变成了一个最小二乘问题:
它的意思是:寻找一个最合适的矩阵,让所有记忆的预测误差平方和尽可能小。
当记忆数量不超过键的维度,并且这些键线性无关时,我们甚至可以让所有记忆都被准确拟合。当记忆数量超过这个范围,才开始出现不可避免的误差。
对于超过维度的随机键值对,文章推导出的容量估算表明,最优线性存储的容量约为:
因此,相比直接累加外积的线性记忆,最优线性存储可以把容量提高到约两倍。
这不是一个数量级上的飞跃,却揭示了一个重要事实:即使不改变线性读取的形式,仅仅更聪明地安排记忆,也能减少一部分干扰。
最小二乘法的解还带来了另一个值得注意的概念:whitening(白化)。
在线性存储的解中,会出现一个用于校正键之间相关性的矩阵。它反映了不同键之间的相关程度。
如果许多键都集中在相似的方向上,直接累加就可能过度强调这些方向。通过协方差矩阵的逆进行校正,可以减弱这种偏向,让不同方向上的变化更加均衡。
这就是这里所说的白化。它不是简单地把每个向量的长度变成 1,而是进一步处理不同方向之间的相关性。
我觉得这一节最重要的并不是记住矩阵求逆的具体形式,而是理解:当记忆之间存在相关性时,我们可以在存储阶段利用这些相关性,减少它们对读取结果的影响。
最优线性存储虽然能减少干扰,但仍然有一个限制:它对不同相似度进行线性加权。只要相似度不为零,对应的记忆就会产生贡献。
如果我们希望更有选择性地读取记忆,可以先把相似度通过一个非线性函数,再进行加权求和:
这里的
这个形式恰好可以写成一个两层 MLP:
其中,第一层的权重可以理解为一组键,第二层的权重则对应一组值。输入与各个键进行匹配,激活函数决定匹配的强度,最后再把相应的值组合起来。
从这个角度看,MLP 不仅是一个特征变换模块,也可以被理解为一个非线性记忆读取系统。
以 ReLU 为例:
它会把负相似度直接变成零,但仍然保留较小的正相似度。
如果进一步使用平方 ReLU:
情况就不同了。相似度为 0.1 时,权重变成 0.01;相似度为 1 时,权重仍然是 1。
也就是说,平方操作对小数的压缩更明显,因此可以减少低相似度记忆的干扰。
在文章的随机记忆模型中,平方 ReLU 的容量估算约为:
当
这里需要注意,非线性激活并不是自动识别出哪些记忆正确,而是改变了不同相似度对应的权重。它的效果来自这种更有选择性的加权方式。
读到这里,我开始意识到,MLP 与线性关联记忆并不是两个毫无关系的概念。它们可以用相似的数学形式来描述,只是使用了不同的读取函数。
更有意思的是,Transformer 的早期研究者也注意到了这种联系。
Alex Wang 指出,原始 Transformer 论文在早期的 arXiv 第 2 版和第 3 版中,曾将前馈网络描述为一种 attention,并尝试用对可学习键值参数进行 attention 的结构替换前馈层。论文报告的翻译质量大致相当,但不同变体在效果和训练速度上有所差异。其中一个版本的训练速度慢约 30%。
这个讨论后来从论文的后续版本中消失了。不过,仅凭这段内容被删去,我们并不能推断作者为何删去它,或他们后来是否仍然认同这个观点。
这并不意味着 Transformer 的作者当初就是沿着本文的推导路线发明了 Transformer,而是说明:前馈网络与 attention 之间的数学联系,并不是事后才被发现的。
这让我重新看待了 MLP。它与 attention 并非毫无关联的两种模块,而是在某种程度上共享了相似的计算结构。
既然平方 ReLU 能压低弱匹配,那么继续提高幂次会怎样?
考虑下面这个激活函数:
其中
前面提到,两个随机单位向量的内积,其典型大小约为
如果不同记忆的值向量方向随机,那么这些干扰项会像随机游走一样累积。根据这个模型,信号与干扰的比例可以估算为:
当干扰与信号处于相同量级时,容量大约为:
这意味着,记忆容量可以随着键的维度呈更高次的多项式增长,而不再局限于线性增长。
不过,这里有一个值得注意的细节:上面的公式主要展示容量的增长量级,具体的容量系数还会受到激活函数的影响。
例如,文章给出的估算是:
- 线性记忆:
。 - ReLU:
。 - 平方 ReLU:
。 - 三次 ReLU:
。
当
这说明,非线性激活并不只是为了增加模型的表达能力。在记忆视角下,它还可以通过改变不同相似度对应的权重,显著减少读取干扰。
前面讨论的高次 ReLU 都需要选择一个具体的幂次。如果我们希望进一步提高选择性,能不能把不同次幂组合起来?
指数函数恰好具有这样的性质:
这里的
这个公式说明,指数函数可以看作不同次幂的加权组合。与只使用某个固定幂次的 ReLU 相比,它能够更强烈地放大高相似度与低相似度之间的差距。
例如,当目标记忆的相似度为 1,而另一条记忆的相似度为 0.2 时,取
也就是说,目标记忆的权重约为这条干扰记忆的 602 倍。
我们仍然采用前面相同的随机记忆模型:键是随机单位向量,值也是随机向量,并且不同值的长度处于相近的量级。
查询某条已存储的键
把这些干扰项的贡献累积起来,可以得到信号与干扰的比例估算:
当这个比例等于 1 时,就可以估算出记忆容量:
与之前的多项式增长不同,这个容量会随着
文章采用
在同样为 64 维的键空间中,简单线性记忆的容量约为 64 条,而指数加权记忆的理论容量估算可以达到约 120 万条。
指数函数可以产生非常大的数或非常小的数,直接计算可能造成数值稳定性问题。
一个自然的做法是,把每条记忆的指数权重除以所有权重之和:
这个归一化操作就是 softmax。
为什么归一化不会改变前面的容量分析?
因为所有权重都除以同一个正数,所以任意两条记忆之间的权重比例不会发生变化。既然信号与干扰的相对比例不变,我们就可以使用归一化后的权重来进行读取,同时避免直接处理过大或过小的数值。
把所有键和值整理成矩阵形式,就得到:
这就是 self-attention 的核心计算形式之一。
从这个角度看,self-attention 并不是突然出现的一种全新机制。它可以被理解为:在关联记忆的基础上,使用指数函数放大不同键之间的相似度差异,再通过 softmax 计算读取权重。
两者在计算形式上存在联系,但它们的记忆存储方式并不相同。
在 MLP 中,键和值通常来自模型训练得到的权重。它们存储在参数中,不会因为当前输入文本换了一段内容,就自动变成另一组参数。
而在 self-attention 中,键和值通常由当前上下文中的 token 经过线性变换得到。每个 token 都可以提供一条记忆,当前 token 再根据查询与各个键的相似度,决定如何读取这些信息。
因此,MLP 更像存储在模型参数中的记忆,而 self-attention 更像根据当前上下文动态构建的记忆库。
这也是文章称 self-attention 为 non-parametric memory store 的原因:这里讨论的记忆条目并不是预先逐条写进参数矩阵,而是随着上下文变化而变化。
既然提高
事情没有这么简单。
当 argmax,也就是只选择相似度最高的那个键。这看起来很理想,但会带来训练问题。
当 softmax 过于尖锐时,其他键的权重可能接近零,对应的梯度也可能变得非常小。这样一来,模型就很难继续从这些位置获得有效的学习信号。
因此,作者提出的思路是:随着记忆数量
文章介绍了一类与
这里的 logits 指的是 softmax 之前的分数,也就是键与查询的相似度经过缩放之后、尚未归一化的数值。
这些方法会根据上下文长度
并在参考长度
其直觉是:当上下文变长时,候选记忆数量增加,随机键之间更容易出现较高的偶然相似度,因此需要更强的选择性来控制干扰。
文章还讨论了 Qwen 使用的 LogN-Scaling,以及 Qwen2.5-1M 使用的 YaRN attention scaling。这些方法采用不同的规则调整注意力分数,但目标都是让模型更好地适应长于训练上下文的输入。
作者的实验显示,在这一随机记忆模型下,随着上下文长度增加而相应提高缩放,可以让干扰与信号之比继续维持在很低的水平。
这部分没有展开写,我个人就仅仅理解了一下其中的权衡:理论上,我们希望 attention 更有选择性;实际训练中,我们又不能让 softmax 过早饱和。因此,选择性需要随着上下文长度进行合理调整。
到这里,文章讨论过的主要记忆机制可以整理成下面这张表。
| 记忆机制 | 理论容量估算 | 当 |
|---|---|---|
| 外积累加的线性记忆 | 64 | |
| 最优线性存储 | 128 | |
| ReLU MLP | 128 | |
| 平方 ReLU | 约 2,700 | |
| SwiGLU MLP | 约 |
约 2,900 |
| 三次 ReLU | 约 35,000 | |
| Self-attention, |
约 120 万 |
这些数字来自作者在随机键值、特定读取条件下的分析和实验。它们的意义是比较不同记忆机制在抵抗干扰方面的能力,而不是直接测量真实语言模型存储了多少知识。
从这个表中可以看到,存储方式和读取函数的改变,会显著影响系统的理论容量。简单的外积累加方式很容易受到干扰,而更有选择性的非线性函数能够大幅提高容量估算。
作者在结尾提醒,这套容量分析只研究一个具体问题:在随机键值的假设下,一个网络层能存储多少条记忆,直到读取干扰与目标信号一样大。
它没有直接衡量真实模型究竟记住了多少知识,也没有分析训练数据如何决定哪些信息被编码进参数。
真实模型的记忆还涉及参数共享、知识泛化、数据分布,以及不同事实如何共同占用模型容量等问题。也有其他研究尝试用比特数来衡量模型中的记忆信息,例如估计模型每个参数能够记住多少训练数据或事实信息。
因此,这篇文章提供的是一种解释神经网络架构的理论视角,而不是对 Transformer 全部记忆能力的完整证明。
作者最后还列举了不少相关研究方向,包括:
- 如何测量模型参数中的事实记忆。
- 如何构建推理时能够更新的短期记忆,例如
Mamba、Titans等相关架构。 - 如何使用更大、更稀疏的参数化记忆系统补充或替代 MLP。
- 如何把记忆存储在模型权重之外,并随着上下文增长而追加,例如
kNN-LM和RETRO。 - 如何定位、编辑已经存储在训练模型中的记忆。
这些方向也说明,关联记忆并不只是解释 Transformer 的一种方式,而是连接模型内部知识、推理时记忆和外部检索系统的一条研究线索。
回顾整篇文章,我们只需要一个矩阵,通过外积相加就能存储多条键值关联。但这种简单的方式会受到记忆干扰的限制。随后,我们可以通过最小二乘法更合理地安排存储,再通过 MLP 的非线性激活压低弱匹配,最后通过 self-attention 的指数加权和 softmax,进一步拉大强匹配与弱匹配之间的差距。
当然,历史上的 Transformer 可能并非沿着这条路线被发明出来。不过我认为作者将统领至今的 Tranformer 探索出了一种有意思的、直观的、甚至或许触及到了一小部分本质的理解方式,这是我第一次看到这样的理解方式,值得学习记录一下。