2017 年的论文《Attention Is All You Need》提出 Transformer,用注意力取代循环结构,让序列建模第一次可以大规模并行。今天的大语言模型几乎都建立在它之上。这篇文章按「为什么需要、注意力学什么、怎么稳住训练」的顺序拆开结构,公式只保留最关键的一个。
一、直觉:RNN 卡在哪里
循环网络逐词处理序列,第 t 个词的表示依赖第 t−1 个词。这带来两个问题:一是无法并行,长序列训练慢;二是信息要沿着链传递,距离一远就容易衰减。
自注意力换了思路:每个位置直接和序列里所有位置交互,任意两个位置之间的路径长度都是 1,而且所有位置可以同时计算。代价是注意力矩阵的大小随序列长度平方增长,这是长上下文成本高的根源。
二、自注意力:Q、K、V 各做什么
把每个 token 的向量分别做三次线性变换,得到查询 Q、键 K、值 V。可以用检索来类比:Q 是「我在找什么」,K 是「我这里有什么」,V 是「我实际提供的内容」。每个位置拿自己的 Q 去和所有位置的 K 打分,softmax 归一化成权重,再对所有 V 加权求和。
写成一行:Attention(Q, K, V) = softmax(QKᵀ / √d_k) V。其中 d_k 是每个头的维度。整个过程分四步:投影出 Q、K、V;计算 QKᵀ 得到分数;除以 √d_k 后按行做 softmax;用权重对 V 加权求和。
为什么要除以 √d_k?假设 Q 和 K 的各维独立、均值为 0、方差为 1,那么点积的方差约为 d_k。维度越大,点积的绝对值越大,softmax 越容易进入饱和区,梯度接近于零。除以 √d_k 把方差拉回 1 左右,训练更稳定。这不是玄学,是方差分析。
注意力打分也有加性形式,但在实践中点积注意力可以用矩阵乘法一次算完,速度和显存都更友好,因此成为主流选择。
另外两种掩码要分清:因果掩码把当前位置之后的位置置为负无穷,防止解码时看到未来;填充掩码让补齐的位置不参与注意力计算,处理变长序列。
三、多头:同时看多个子空间
一个注意力头只能输出一种加权方式。多头把 d_model 维的向量分成 h 份,每份维度 d_k = d_model / h,每个头用独立的投影矩阵,各自算注意力,最后把结果拼接起来,再过一次线性变换 W^O。
原论文的 base 配置是:编码器和解码器各 6 层,d_model = 512,8 个头,每头 64 维,前馈层隐藏维度 2048。多头并没有让总计算量暴涨,因为每个头的维度缩小了,总维度不变。头数是超参数:头太少表达不足,头太多则每头维度太小、模式不稳定,通常要和总维度、层数一起调。
直觉上,不同的头可能分别关注相邻词、指代关系、句法结构或远距离依赖。这种解释有帮助,但不要过度相信:注意力权重不等于因果解释,很多头可以被剪掉而性能几乎不变。
四、位置编码:注意力本身不知道顺序
自注意力对输入顺序是等变的:把 token 打乱,输出只是跟着打乱,模型无法区分「猫追狗」和「狗追猫」。所以必须把位置信息加进去。
原论文用正弦和余弦函数:偶数维用 sin(pos / 10000^(2i/d_model)),奇数维用 cos(同一项)。不同维度对应不同频率,位置越远,编码差异的模式越有规律,而且相对位置可以由线性变换表示,便于外推。另一种做法是可学习的位置嵌入,实现简单,但超过训练长度就需要额外处理。
绝对位置编码给每个位置一个固定向量,相对位置编码则直接建模两个位置的距离,后者对长度变化更友好。这是后来 RoPE、ALiBi 这些方案出现的出发点。
现代大模型更常用旋转位置编码(RoPE):把 Q 和 K 按位置旋转,使点积只依赖相对距离;也有模型用 ALiBi,直接在注意力分数上加一个与距离成正比的惩罚。这些方法的共同目标是让模型在训练长度之外也能保持一定的外推能力。
五、残差、层归一化与前馈网络
每个子层外面都包着残差连接和层归一化。原论文的做法是「先子层、再相加、再归一化」,即 LayerNorm(x + Sublayer(x));后来的模型多改成 Pre-LN,先归一化再进子层,残差路径上没有任何归一化,深层训练更稳定。今天的主流大模型基本都用 Pre-LN 一系。
残差连接给梯度提供了一条直通路径,让几十层甚至上百层的网络可以训练。层归一化对每个 token 的特征维度做归一化,再乘可学习的缩放和偏移;它不依赖 batch,因此适合变长序列和小批量训练,这是 NLP 里用 LayerNorm 而不是 BatchNorm 的主要原因。
前馈网络是两层线性变换加激活函数,对每个位置独立作用。隐藏维度通常是 d_model 的 4 倍。别小看它:每个注意力子层的参数量约为 4×d_model²,前馈层约为 8×d_model²,后者约占每层参数的三分之二,是模型容量的大头。
现代模型还会做一些局部替换:用 RMSNorm 省掉层归一化里的均值计算,用 SwiGLU 替代 ReLU 前馈,用分组查询注意力减少推理时的 KV 缓存。这些改动不改变整体骨架,但直接影响训练效率和推理成本。
六、编码器、解码器与三种架构
| 组件 | 包含的子层 | 能看到什么 |
|---|---|---|
| 编码器层 | 自注意力 + 前馈网络 | 整段输入,双向可见 |
| 解码器层 | 带掩码的自注意力 + 交叉注意力 + 前馈网络 | 已生成的前缀,以及编码器输出 |
交叉注意力里,Q 来自解码器,K 和 V 来自编码器输出,相当于解码器在「查」编码后的原文。训练时用 teacher forcing,把正确答案作为输入并行计算;推理时逐 token 自回归生成。
由此演化出三种架构:只用编码器的 BERT 系适合分类、抽取和检索;只用解码器的 GPT 系适合生成,是当前大模型的主流;编码器加解码器的 T5 系适合翻译、摘要这类序列到序列任务。
训练目标也会随架构改变:解码器模型通常做下一个 token 预测,编码器模型常用掩码语言建模。同一个 Transformer 骨架,换个训练目标就变成不同用途的模型。
看模型卡时先确认三件事:是 encoder-only 还是 decoder-only,位置编码用的哪种,归一化放在子层前还是后。这三点决定了它的训练方式和适用场景。
七、常见坑与练习清单
- 把注意力权重当成解释。权重高只说明这一层在这个头上分配了更多注意力,不等于模型决策的原因。
- 忘记因果掩码。训练时能看到未来 token,loss 会低得不正常,上线后立刻崩。
- 位置编码长度不够。推理长度超过训练长度时效果下降,需要位置插值或换用支持外推的方案。
- 层归一化的维度搞错。LayerNorm 归一化的是特征维,不是 batch 维。
- 学习率和 warmup 不匹配。Transformer 对初期学习率敏感,缺少 warmup 容易发散。
- 忽视显存。注意力矩阵随长度平方增长,长文本要配合 FlashAttention、分块或稀疏注意力。
- 残差分支输出过大。深层模型常需要调小残差分支的初始化或加缩放,否则激活值会逐层放大。
练习清单:
- 用 3 个 token、2 维的小例子手算一遍 scaled dot-product attention,确认 softmax 是按行归一化。
- 用 PyTorch 实现单头注意力,并与官方 scaled_dot_product_attention 的结果对比。
- 画出一组正弦位置编码的热力图,观察不同维度的频率差异。
- 把同一模型分别用 Pre-LN 和 Post-LN 训练,比较 loss 曲线的稳定性。
- 手算一层 Transformer 的参数量,验证前馈层占比约三分之二。
- 读一遍 Annotated Transformer 的代码,把每个子层和论文图对应起来。
Transformer 的核心不是「注意力」三个字,而是用一次全局加权替代逐步传递,再用残差、归一化和位置编码把这条新路径变得可训练、可扩展。
参考与延伸阅读
- Attention Is All You Need(arXiv:1706.03762)
- The Annotated Transformer(Harvard NLP)
- The Illustrated Transformer(Jay Alammar)
- Layer Normalization(arXiv:1607.06450)
- RoFormer: Enhanced Transformer with Rotary Position Embedding(arXiv:2104.09864)
- 注意力机制(动手学深度学习)
外链内容由对应网站负责,访问以实际可用性为准。