Skip to content
Jambity's Blog

当计算成为记忆:从线性层到 Transformer

为什么历史选择了 Transformer

About 17 min read...
参考资料

我们通常把神经网络理解为一系列矩阵运算、激活函数和注意力机制的组合。但如果换一个视角,这些组件也可以被理解为不同形式的记忆系统。

Alex Wang 在这篇文章中提出了一种很有意思的理解方式:把神经网络中的计算层看作记忆系统,研究它能存储多少条关联,以及在读取时会受到多大的干扰。

这里的「记忆」并不一定是人类意义上的知识或事实,而是一种更抽象的数学结构:给定一个键(key),能够取回与之关联的值(value)。

例如,我们可以用向量 作为检索线索,用向量 表示希望取回的信息。一个好的记忆系统应该做到:输入 ,就能尽可能准确地输出 。

这种根据关联关系进行检索的机制,称为 associative memory(关联记忆)。

这篇博客将从一个非常简单的线性记忆系统出发,逐步引入更好的存储和读取机制,最后把这些机制与 MLP 和 self-attention 联系起来。

最简单的记忆系统可以直接用一个矩阵 存储多条键值关联:

这里, 是两个向量的外积,结果是一个矩阵。我们把每条记忆对应的外积矩阵相加,就得到统一的记忆矩阵 。

这种方式非常直接:写入一条新记忆,只需要把它对应的外积加到原来的矩阵上。

读取也同样简单。输入一个查询向量 ,计算:

这个公式揭示了线性记忆的读取方式:查询向量会与每条记忆的键计算内积,内积越大,对应的值对最终输出的贡献就越大。

当查询向量与某个键完全匹配时,对应的记忆会得到较强的响应;如果查询与其他键不太相似,这些记忆的贡献通常会比较小。

不过,这里存在一个问题:不够相似,不代表完全没有贡献。

即使某条记忆与当前查询的相似度很低,只要内积不为零,它仍然会参与最终的结果。当存储的记忆越来越多,这些微小的贡献就可能不断累积,最终干扰我们真正想读取的信息。

假设我们用某条记忆的键 进行查询,并且所有键都是单位向量。那么,读取结果可以拆成两部分:

第一项 是我们希望取回的目标信息,也就是信号;第二项是其他记忆带来的干扰。

如果所有键都彼此正交,那么其他键与查询键的内积为零,干扰也就消失了。但在 维空间中,最多只能找到 个彼此正交的非零向量。因此,随着存储的记忆越来越多,我们无法再保证所有记忆都互不干扰。

文章进一步分析了随机键值的情况:随着记忆数量增加,干扰会逐渐累积。当干扰与目标信号达到相近的量级时,读取结果就会变得不可靠。

在这个特定的随机模型下,线性记忆的容量大约为:

线性记忆容量的简单解释

对第 条记忆的键 进行查询时,

第一项是目标信号,第二项是其他记忆带来的干扰。

如果键是 维随机单位向量,那么两个不同键的内积典型大小约为:

这意味着,每个干扰项的长度大约只有信号的 倍。由于一共有 个干扰项,并且它们的方向近似随机,所以总干扰会像随机游走一样累积:

当这个比例接近 1 时,干扰就和信号一样强,于是得到容量估算:

也就是说,线性关联记忆的容量大致与键的维度成正比。

这一部分是我阅读时觉得很有意思的一个联系:原来,神经网络训练中常见的参数更新,也可以从关联记忆的角度理解。

考虑一个线性层:

其中 是输入, 是权重矩阵, 是输出。设整个网络的损失函数为 ,并定义:

这里的 表示损失对输出 的梯度。它描述的是:如果输出发生微小变化,损失会如何变化。

根据链式法则,可以得到损失对权重矩阵的梯度:

因此,一步梯度下降更新为:

其中 是学习率,用来控制每次参数更新的幅度。

注意这个公式的形式。权重矩阵的更新量恰好是两个向量的外积,只不过其中一个向量是 。

如果与前面的记忆写入公式对照:

就可以对应出:

也就是说,当前输入 可以被看作键,而这次梯度更新对应的 可以被看作值。一次梯度下降,便在权重矩阵中添加了一个具有键值结构的更新量。

但是这里把梯度更新称为记忆写入,仅仅是对数学形式的一种直观解释,并不意味着模型准确记住了当前样本。

但这个联系仍然很有启发性:训练不只是不断调整参数,也可以被理解为在参数中逐渐积累信息。

既然干扰是主要问题,我们自然可以尝试从两个方向改进:一是存储时就考虑不同记忆之间的关系,二是在读取时减少不相关记忆的贡献。

先看第一种方法。

前面介绍的线性记忆,会把每条记忆的外积直接加到矩阵中,而不考虑其他记忆。我们也可以换一种思路:不再直接累加,而是一次性寻找一个矩阵 ,让所有键都尽可能准确地映射到对应的值。

这就变成了一个最小二乘问题:

它的意思是:寻找一个最合适的矩阵,让所有记忆的预测误差平方和尽可能小。

当记忆数量不超过键的维度,并且这些键线性无关时,我们甚至可以让所有记忆都被准确拟合。当记忆数量超过这个范围,才开始出现不可避免的误差。

对于超过维度的随机键值对,文章推导出的容量估算表明,最优线性存储的容量约为:

因此,相比直接累加外积的线性记忆,最优线性存储可以把容量提高到约两倍。

这不是一个数量级上的飞跃,却揭示了一个重要事实:即使不改变线性读取的形式,仅仅更聪明地安排记忆,也能减少一部分干扰。

最小二乘法的解还带来了另一个值得注意的概念:whitening(白化)。

在线性存储的解中,会出现一个用于校正键之间相关性的矩阵。它反映了不同键之间的相关程度。

如果许多键都集中在相似的方向上,直接累加就可能过度强调这些方向。通过协方差矩阵的逆进行校正,可以减弱这种偏向,让不同方向上的变化更加均衡。

这就是这里所说的白化。它不是简单地把每个向量的长度变成 1,而是进一步处理不同方向之间的相关性。

我觉得这一节最重要的并不是记住矩阵求逆的具体形式,而是理解:当记忆之间存在相关性时,我们可以在存储阶段利用这些相关性,减少它们对读取结果的影响。

最优线性存储虽然能减少干扰,但仍然有一个限制:它对不同相似度进行线性加权。只要相似度不为零,对应的记忆就会产生贡献。

如果我们希望更有选择性地读取记忆,可以先把相似度通过一个非线性函数,再进行加权求和:

这里的 是激活函数。它决定了每条记忆应该在多大程度上参与读取。

这个形式恰好可以写成一个两层 MLP:

其中,第一层的权重可以理解为一组键,第二层的权重则对应一组值。输入与各个键进行匹配,激活函数决定匹配的强度,最后再把相应的值组合起来。

从这个角度看,MLP 不仅是一个特征变换模块,也可以被理解为一个非线性记忆读取系统。

以 ReLU 为例:

它会把负相似度直接变成零,但仍然保留较小的正相似度。

如果进一步使用平方 ReLU:

情况就不同了。相似度为 0.1 时,权重变成 0.01;相似度为 1 时,权重仍然是 1。

也就是说,平方操作对小数的压缩更明显,因此可以减少低相似度记忆的干扰。

在文章的随机记忆模型中,平方 ReLU 的容量估算约为:

当 时,容量约为 2,700 条,远高于简单线性记忆的 64 条。

这里需要注意,非线性激活并不是自动识别出哪些记忆正确,而是改变了不同相似度对应的权重。它的效果来自这种更有选择性的加权方式。

读到这里,我开始意识到,MLP 与线性关联记忆并不是两个毫无关系的概念。它们可以用相似的数学形式来描述,只是使用了不同的读取函数。

更有意思的是,Transformer 的早期研究者也注意到了这种联系。

Alex Wang 指出,原始 Transformer 论文在早期的 arXiv 第 2 版和第 3 版中,曾将前馈网络描述为一种 attention,并尝试用对可学习键值参数进行 attention 的结构替换前馈层。论文报告的翻译质量大致相当,但不同变体在效果和训练速度上有所差异。其中一个版本的训练速度慢约 30%。

这个讨论后来从论文的后续版本中消失了。不过,仅凭这段内容被删去,我们并不能推断作者为何删去它,或他们后来是否仍然认同这个观点。

这并不意味着 Transformer 的作者当初就是沿着本文的推导路线发明了 Transformer,而是说明:前馈网络与 attention 之间的数学联系,并不是事后才被发现的。

这让我重新看待了 MLP。它与 attention 并非毫无关联的两种模块,而是在某种程度上共享了相似的计算结构。

既然平方 ReLU 能压低弱匹配,那么继续提高幂次会怎样?

考虑下面这个激活函数:

其中 是正整数。随着 增大,小的正数会被压缩得更厉害,而目标记忆的相似度如果是 1,其权重仍然是 。

前面提到,两个随机单位向量的内积,其典型大小约为 。经过 次幂之后,这个干扰项就会缩小到:

如果不同记忆的值向量方向随机,那么这些干扰项会像随机游走一样累积。根据这个模型,信号与干扰的比例可以估算为:

当干扰与信号处于相同量级时,容量大约为:

这意味着,记忆容量可以随着键的维度呈更高次的多项式增长,而不再局限于线性增长。

不过,这里有一个值得注意的细节:上面的公式主要展示容量的增长量级,具体的容量系数还会受到激活函数的影响。

例如,文章给出的估算是:

  • 线性记忆:。
  • ReLU:。
  • 平方 ReLU:。
  • 三次 ReLU:。

当 时,平方 ReLU 的容量约为 2,700 条,三次 ReLU 则约为 35,000 条。

这说明,非线性激活并不只是为了增加模型的表达能力。在记忆视角下,它还可以通过改变不同相似度对应的权重,显著减少读取干扰。

前面讨论的高次 ReLU 都需要选择一个具体的幂次。如果我们希望进一步提高选择性,能不能把不同次幂组合起来?

指数函数恰好具有这样的性质:

这里的 控制函数的选择性,也就是相似度之间的差异会被放大到什么程度。

这个公式说明,指数函数可以看作不同次幂的加权组合。与只使用某个固定幂次的 ReLU 相比,它能够更强烈地放大高相似度与低相似度之间的差距。

例如,当目标记忆的相似度为 1,而另一条记忆的相似度为 0.2 时,取 ,两者的未归一化权重之比为:

也就是说,目标记忆的权重约为这条干扰记忆的 602 倍。

我们仍然采用前面相同的随机记忆模型:键是随机单位向量,值也是随机向量,并且不同值的长度处于相近的量级。

查询某条已存储的键 时,目标记忆的相似度为 1,因此它的权重为 。其他随机键的相似度则通常接近 0,对应权重为 。

把这些干扰项的贡献累积起来,可以得到信号与干扰的比例估算:

当这个比例等于 1 时,就可以估算出记忆容量:

与之前的多项式增长不同,这个容量会随着 的增加呈指数级增长,只要 还没有大到接近或超过 。

文章采用 的设置。当 时,,于是:

万

在同样为 64 维的键空间中,简单线性记忆的容量约为 64 条,而指数加权记忆的理论容量估算可以达到约 120 万条。

指数函数可以产生非常大的数或非常小的数,直接计算可能造成数值稳定性问题。

一个自然的做法是,把每条记忆的指数权重除以所有权重之和:

这个归一化操作就是 softmax。

为什么归一化不会改变前面的容量分析?

因为所有权重都除以同一个正数,所以任意两条记忆之间的权重比例不会发生变化。既然信号与干扰的相对比例不变,我们就可以使用归一化后的权重来进行读取,同时避免直接处理过大或过小的数值。

把所有键和值整理成矩阵形式,就得到:

这就是 self-attention 的核心计算形式之一。

从这个角度看,self-attention 并不是突然出现的一种全新机制。它可以被理解为:在关联记忆的基础上,使用指数函数放大不同键之间的相似度差异,再通过 softmax 计算读取权重。

两者在计算形式上存在联系,但它们的记忆存储方式并不相同。

在 MLP 中,键和值通常来自模型训练得到的权重。它们存储在参数中,不会因为当前输入文本换了一段内容,就自动变成另一组参数。

而在 self-attention 中,键和值通常由当前上下文中的 token 经过线性变换得到。每个 token 都可以提供一条记忆,当前 token 再根据查询与各个键的相似度,决定如何读取这些信息。

因此,MLP 更像存储在模型参数中的记忆,而 self-attention 更像根据当前上下文动态构建的记忆库。

这也是文章称 self-attention 为 non-parametric memory store 的原因:这里讨论的记忆条目并不是预先逐条写进参数矩阵,而是随着上下文变化而变化。

既然提高 能够减少低相似度记忆的干扰,我们是不是只需要不断增大 ,就可以存储越来越多的记忆?

事情没有这么简单。

当 趋向无穷大时,softmax 会越来越接近 argmax,也就是只选择相似度最高的那个键。这看起来很理想,但会带来训练问题。

当 softmax 过于尖锐时,其他键的权重可能接近零,对应的梯度也可能变得非常小。这样一来,模型就很难继续从这些位置获得有效的学习信号。

因此,作者提出的思路是:随着记忆数量 增加,逐渐提高 attention 的选择性,而不是一开始就把权重设置得非常尖锐。

文章介绍了一类与 有关的缩放方法。

这里的 logits 指的是 softmax 之前的分数,也就是键与查询的相似度经过缩放之后、尚未归一化的数值。

这些方法会根据上下文长度 相对于参考长度 的变化,调整 logits 的尺度。例如,一种方案会使用:

并在参考长度 处保持原有的缩放水平。

其直觉是:当上下文变长时,候选记忆数量增加,随机键之间更容易出现较高的偶然相似度,因此需要更强的选择性来控制干扰。

文章还讨论了 Qwen 使用的 LogN-Scaling,以及 Qwen2.5-1M 使用的 YaRN attention scaling。这些方法采用不同的规则调整注意力分数,但目标都是让模型更好地适应长于训练上下文的输入。

作者的实验显示,在这一随机记忆模型下,随着上下文长度增加而相应提高缩放,可以让干扰与信号之比继续维持在很低的水平。

这部分没有展开写,我个人就仅仅理解了一下其中的权衡:理论上,我们希望 attention 更有选择性;实际训练中,我们又不能让 softmax 过早饱和。因此,选择性需要随着上下文长度进行合理调整。

到这里,文章讨论过的主要记忆机制可以整理成下面这张表。

记忆机制 理论容量估算 当 时
外积累加的线性记忆 64
最优线性存储 128
ReLU MLP 128
平方 ReLU 约 2,700
SwiGLU MLP 约 约 2,900
三次 ReLU 约 35,000
Self-attention, 约 120 万

这些数字来自作者在随机键值、特定读取条件下的分析和实验。它们的意义是比较不同记忆机制在抵抗干扰方面的能力,而不是直接测量真实语言模型存储了多少知识。

从这个表中可以看到,存储方式和读取函数的改变,会显著影响系统的理论容量。简单的外积累加方式很容易受到干扰,而更有选择性的非线性函数能够大幅提高容量估算。

作者在结尾提醒,这套容量分析只研究一个具体问题:在随机键值的假设下,一个网络层能存储多少条记忆,直到读取干扰与目标信号一样大。

它没有直接衡量真实模型究竟记住了多少知识,也没有分析训练数据如何决定哪些信息被编码进参数。

真实模型的记忆还涉及参数共享、知识泛化、数据分布,以及不同事实如何共同占用模型容量等问题。也有其他研究尝试用比特数来衡量模型中的记忆信息,例如估计模型每个参数能够记住多少训练数据或事实信息。

因此,这篇文章提供的是一种解释神经网络架构的理论视角,而不是对 Transformer 全部记忆能力的完整证明。

作者最后还列举了不少相关研究方向,包括:

  • 如何测量模型参数中的事实记忆。
  • 如何构建推理时能够更新的短期记忆,例如 Mamba、Titans 等相关架构。
  • 如何使用更大、更稀疏的参数化记忆系统补充或替代 MLP。
  • 如何把记忆存储在模型权重之外,并随着上下文增长而追加,例如 kNN-LM 和 RETRO。
  • 如何定位、编辑已经存储在训练模型中的记忆。

这些方向也说明,关联记忆并不只是解释 Transformer 的一种方式,而是连接模型内部知识、推理时记忆和外部检索系统的一条研究线索。

回顾整篇文章,我们只需要一个矩阵,通过外积相加就能存储多条键值关联。但这种简单的方式会受到记忆干扰的限制。随后,我们可以通过最小二乘法更合理地安排存储,再通过 MLP 的非线性激活压低弱匹配,最后通过 self-attention 的指数加权和 softmax,进一步拉大强匹配与弱匹配之间的差距。

当然,历史上的 Transformer 可能并非沿着这条路线被发明出来。不过我认为作者将统领至今的 Tranformer 探索出了一种有意思的、直观的、甚至或许触及到了一小部分本质的理解方式,这是我第一次看到这样的理解方式,值得学习记录一下。

Comments

© Jambity. All rights reserved.......