【深度学习-Day 50】告别RNN/CNN？详解Transformer的基石——自注意力与多头注意力

大模型铲屎官

1409人浏览 · 2025-10-09 19:00:00

大模型铲屎官 · 2025-10-09 19:00:00 发布

Langchain系列文章目录

01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南
 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖
 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南
 04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战
 05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估）
06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能工作流！
07-【深度解析】从GPT-1到GPT-4：ChatGPT背后的核心原理全揭秘
 08-【万字长文】MCP深度解析：打通AI与世界的“USB-C”，模型上下文协议原理、实践与未来

深度学习系列文章目录

文章目录

Langchain系列文章目录
Python系列文章目录
PyTorch系列文章目录
机器学习系列文章目录
深度学习系列文章目录
Java系列文章目录
JavaScript系列文章目录
深度学习系列文章目录
摘要
一、回顾与前瞻：为什么需要新的架构？
二、自注意力机制（Self-Attention）：序列的内部对话
三、缩放点积注意力（Scaled Dot-Product Attention）：计算注意力权重
四、多头注意力机制（Multi-Head Attention）：多角度审视
五、总结

摘要

在深度学习的序列处理领域，RNN（循环神经网络）及其变体 LSTM、GRU 曾是无可争议的王者。然而，其固有的顺序计算特性限制了并行处理能力，长期依赖问题也难以根除。2017年，一篇名为《Attention Is All You Need》的论文横空出世，提出了完全摒弃循环和卷积结构、仅依赖注意力机制的 Transformer 模型，彻底改变了自然语言处理（NLP）乃至整个深度学习领域的格局。本文作为 Transformer 架构解析系列的第一篇，将带您深入探索其最核心、最具革命性的组件：自注意力机制 (Self-Attention)。我们将从其基本思想出发，详细拆解缩放点积注意力 (Scaled Dot-Product Attention) 的计算流程，并最终揭示多头注意力 (Multi-Head Attention) 如何让模型从多角度审视信息。

一、回顾与前瞻：为什么需要新的架构？

在深入 Transformer 的心脏之前，让我们先回顾一下历史，理解为什么我们需要这样一种全新的架构。

1.1 RNN/LSTM 的“记忆”瓶颈

正如我们在本系列前面的文章（Day 40-44）中所探讨的，RNN 通过其循环结构和隐藏状态来处理序列数据，试图“记住”先前的信息。LSTM 和 GRU 引入了精巧的门控机制来缓解梯度消失问题，从而捕捉更长距离的依赖关系。

然而，它们存在两个根本性的挑战：

顺序计算限制并行化：RNN 的计算是严格按时间步顺序进行的，当前时间步的计算必须等待前一时间步完成。这在现代 GPU/TPU 等高度并行的硬件上造成了严重的性能瓶颈。
长期依赖依旧困难：尽管 LSTM 有所改善，但当序列非常长时，信息在逐级传递过程中仍可能丢失，模型难以建立相距遥远的两个词之间的直接联系。

1.2 注意力机制的启示

我们在上一篇文章（Day 49）中学习了注意力机制，它最初被用于改进 Seq2Seq 模型。其核心思想是，在生成输出序列的每一步，解码器不再依赖于一个固定的上下文向量，而是可以“关注”到输入序列中所有位置，并根据相关性对它们进行加权。这极大地提升了机器翻译等任务的性能。

注意力机制的成功启示我们：序列中不同部分之间的直接、动态关联或许比顺序处理本身更为重要。

1.3 “Attention Is All You Need” 的革命性宣言

Google 的研究者们大胆地提出了一个问题：我们能否完全抛弃 RNN 的循环结构，只用注意力机制来构建一个强大的序列模型？

答案就是 Transformer。它的核心思想是：对于序列中的每个元素，我们都让它直接与序列中的所有其他元素计算注意力，从而得到一个包含了全局上下文信息的新表示。这种在序列内部成员之间计算注意力的机制，就是自注意力（Self-Attention）。

二、自注意力机制（Self-Attention）：序列的内部对话

自注意力是理解 Transformer 的第一把钥匙。它允许模型在处理序列中的某个词时，能够同时考虑到序列中所有其他词的影响，并根据相关性动态调整这种影响的权重。

2.1 核心思想：序列不再“线性”

想象一下，RNN 处理一个句子就像是一个人逐字逐句地阅读，努力记住前面的内容。而自注意力则像是在一个开放的讨论会上，句子中的每个词都可以同时“听取”其他所有词的“发言”，然后根据大家的发言内容，形成自己对整个句子的理解。

例如，在句子 “The animal didn’t cross the street because it was too tired” 中，要理解代词 it 指代的是 “The animal” 而不是 “the street”，自注意力机制可以让 it 直接与 “The animal” 和 “the street” 建立联系，并计算出它与 “The animal” 的相关性远高于 “the street”。

2.2 关键组件：Q, K, V 的诞生

为了实现上述思想，自注意力机制为输入序列中的每个元素（例如，每个词的词嵌入向量）创造了三个不同的身份向量，它们分别是：

查询向量 (Query, Q): 代表当前词，它主动去“查询”序列中其他词与自己的相关性。可以理解为：“我想找谁？”
键向量 (Key, K): 代表序列中被查询的词，它用来与 Query 进行匹配，以衡量相关性。可以理解为：“我是谁？这是我的标签。”
值向量 (Value, V): 同样代表序列中被查询的词，它包含了这个词的实际信息。一旦 Query 和 Key 匹配成功，Value 就会被传递出去。可以理解为：“这是我的内涵。”

2.2.1 它们是如何生成的？

这三个向量并不是凭空产生的，而是由原始的输入嵌入向量 $x$ 通过与三个不同的、可学习的权重矩阵 $W^Q, W^K, W^V$ 相乘得到的。

对于序列中的每一个输入向量 $x_i$ ，我们都有：

查询向量： $q_i = x_i \cdot W^Q$
键向量： $k_i = x_i \cdot W^K$
值向量： $v_i = x_i \cdot W^V$

这里的权重矩阵 $W^Q, W^K, W^V$ 在整个序列中是共享的，它们是模型在训练过程中需要学习的重要参数。通过学习这些矩阵，模型能够学会如何将输入信息投影到最适合进行注意力计算的表示空间。

三、缩放点积注意力（Scaled Dot-Product Attention）：计算注意力权重

有了 Q, K, V，我们就可以开始计算注意力了。Transformer 使用的是一种被称为“缩放点积注意力”的高效实现。其计算过程可以分解为以下几个步骤：

3.1 计算流程详解

假设我们正在为序列中的第一个词计算它的新表示。

（1）第一步：计算分数 (Score)

我们将第一个词的查询向量 $q_1$ 与序列中所有词（包括它自己）的键向量 $k_1, k_2, ..., k_n$ 进行点积运算。
$\text{score}_i = q_1 \cdot k_i$
点积的结果是一个标量，它衡量了 $q_1$ 和 $k_i$ 之间的“相似度”或“相关性”。如果两个向量方向越接近，点积越大，说明相关性越强。

（2）第二步：缩放 (Scale)

将上一步得到的所有分数除以一个缩放因子 $\sqrt{d_k}$ ，其中 $d_k$ 是键向量 $K$ 的维度。
$scaled_score i = score i d k \text{scaled\_score}_i = \frac{\text{score}_i}{\sqrt{d_k}}$
为什么要缩放？ 这是一个至关重要的细节。当向量维度 $d_k$ 较大时，点积的结果可能会变得非常大，这会将 Softmax 函数推向其梯度极小的区域（饱和区），导致训练过程中的梯度消失，模型难以学习。通过缩放，可以有效地缓解这个问题，使训练更加稳定。

（3）第三步：Softmax 归一化

将缩放后的分数输入到 Softmax 函数中，得到一组权重 $a_1, a_2, ..., a_n$ 。
$scaled_score i ) = e scaled_score i ∑ j = 1 n e scaled_score j a_i = \text{softmax}(\text{scaled\_score}_i) = \frac{e^{\text{scaled\_score}_i}}{\sum_{j=1}^{n} e^{\text{scaled\_score}_j}}$
Softmax 函数将分数转换为了总和为 1 的概率分布。 $a_i$ 就是第一个词对第 $i$ 个词的“注意力权重”，代表了在构建第一个词的新表示时，应该给予第 $i$ 个词多大的“关注度”。

（4）第四步：加权求和 (Weighted Sum)

最后，将得到的注意力权重 $a_i$ 与对应的值向量 $v_i$ 相乘，并将所有结果相加，得到第一个词最终的输出向量 $z_1$ 。
$z_1 = \sum_{i=1}^{n} a_i \cdot v_i$
这个输出向量 $z_1$ 就是该词经过自注意力层后的新表示，它融合了整个序列中所有词的信息，且不同词的贡献由注意力权重动态决定。

3.2 数学公式与图解

以上整个过程可以用一个简洁的公式来概括。如果我们把序列中所有的 Q, K, V 向量堆叠成矩阵 $Q, K, V$ ，那么整个自注意力层的输出可以表示为：
$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

为了更直观地理解，下图展示了缩放点积注意力的计算流程：

graph TD
    subgraph Input
        direction LR
        X1[输入词嵌入 "Thinking"]
    end

    subgraph "Q, K, V 投影 (对每个输入词)"
        direction LR
        X1 -- "× Wq" --> Q1(Query q1)
        X1 -- "× Wk" --> K1(Key k1)
        X1 -- "× Wv" --> V1(Value v1)
        
        X2[其他词嵌入] -- "× Wk" --> K_all(所有词的Keys K)
        X2 -- "× Wv" --> V_all(所有词的Values V)
    end

    subgraph "注意力计算 (为 'Thinking' 计算)"
        Q1 --> step1{"1. 点积: q1 · K"}
        K_all --> step1
        step1 --> step2["2. 缩放: / sqrt(dk)"]
        step2 --> step3["3. Softmax"]
        step3 --> Weights(注意力权重 α)
        
        Weights --> step4((4. 加权求和))
        V_all --> step4
    end

    step4 --> Z1[输出 Z1: "Thinking"的新表示]

    %% Styling
    classDef input fill:#cde4ff,stroke:#6699ff,stroke-width:2px;
    classDef proj fill:#d5f5e3,stroke:#58d68d,stroke-width:2px;
    classDef attn fill:#f9e79f,stroke:#f1c40f,stroke-width:2px;
    classDef output fill:#f5b7b1,stroke:#e74c3c,stroke-width:2px;
    class X1,X2 input;
    class Q1,K1,V1,K_all,V_all proj;
    class step1,step2,step3,Weights,step4 attn;
    class Z1 output;

3.3 PyTorch 伪代码实现

下面是一个简化的 PyTorch 代码示例，展示了如何用矩阵运算实现缩放点积注意力。

import torch
import torch.nn.functional as F

def scaled_dot_product_attention(q, k, v, mask=None):
    """
    计算缩放点积注意力

    Args:
        q (torch.Tensor): 查询矩阵, shape: (..., seq_len_q, d_k)
        k (torch.Tensor): 键矩阵, shape: (..., seq_len_k, d_k)
        v (torch.Tensor): 值矩阵, shape: (..., seq_len_v, d_v), seq_len_k == seq_len_v
        mask (torch.Tensor, optional): 掩码. Defaults to None.

    Returns:
        tuple: (输出张量, 注意力权重)
    """
    # 获取键向量的维度 d_k
    d_k = q.size(-1) 
    
    # 1. 计算分数: Q * K^T
    # q shape: (..., seq_len_q, d_k)
    # k.transpose(-2, -1) shape: (..., d_k, seq_len_k)
    # scores shape: (..., seq_len_q, seq_len_k)
    scores = torch.matmul(q, k.transpose(-2, -1)) 
    
    # 2. 缩放
    scaled_scores = scores / (d_k ** 0.5)
    
    # (可选) 应用掩码，例如在解码时防止看到未来的词
    if mask is not None:
        scaled_scores = scaled_scores.masked_fill(mask == 0, -1e9) # 将掩码位置填充为极小值
        
    # 3. Softmax 归一化得到注意力权重
    # attention_weights shape: (..., seq_len_q, seq_len_k)
    attention_weights = F.softmax(scaled_scores, dim=-1)
    
    # 4. 加权求和: 权重 * V
    # output shape: (..., seq_len_q, d_v)
    output = torch.matmul(attention_weights, v)
    
    return output, attention_weights

四、多头注意力机制（Multi-Head Attention）：多角度审视

虽然单个自注意力机制已经很强大，但 Transformer 的作者发现，如果让模型能够从不同角度、不同子空间去关注信息，效果会更好。这就引出了多头注意力（Multi-Head Attention）。

4.1 动机：为什么一个“头”不够？

想象一下，在理解一句话时，我们的大脑可能同时在关注多个方面：

这个动词的主语是谁？（语法结构）
这个代词指代的是哪个名词？（指代关系）
这句话的情感是积极还是消极？（情感色彩）

如果只有一个注意力“头”，它可能会被某一种关系（例如，强烈的句法关系）主导，而忽略了其他同样重要的信息。多头注意力机制就是为了解决这个问题，它相当于雇佣了多个“专家”（头），每个专家负责从一个特定的角度去审视序列，最后将所有专家的见解综合起来，形成一个更全面、更丰富的理解。

4.2 结构解析

多头注意力的实现方式非常巧妙，其核心是“拆分-计算-合并”三部曲：

（1）第一步：线性投影 (Projection)

首先，我们将原始的输入 $Q, K, V$ 矩阵分别通过 $h$ 组不同的线性层（即乘以不同的权重矩阵）进行投影。这里的 $h$ 就是“头”的数量。
$\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$
其中 $W_i^Q, W_i^K, W_i^V$ 是第 $i$ 个头的投影权重矩阵。通常，我们会将原始向量的维度（如512）拆分到每个头中（如8个头，每个头维度为64），这样总的计算量与单头注意力相当。

（2）第二步：并行注意力计算 (Parallel Attention)

$h$ 组投影后的 $Q_i, K_i, V_i$ 会被并行地送入各自的缩放点积注意力模块中进行计算。由于它们的投影矩阵不同，每个“头”会学到关注序列中不同的依赖关系模式。这将产生 $h$ 个独立的输出向量 $\text{head}_1, \text{head}_2, ..., \text{head}_h$ 。

（3）第三步：拼接与再次投影 (Concatenate & Final Projection)

将 $h$ 个头的输出向量拼接（Concatenate）在一起，形成一个大的向量。
$\text{Concat}(\text{head}_1, \text{head}_2, ..., \text{head}_h)$
最后，将这个拼接后的向量再通过一个线性层（乘以权重矩阵 $W^O$ ）进行一次投影，将维度还原到模型期望的维度，得到多头注意力层最终的输出。
$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O$

4.3 图解多头注意力

下图清晰地展示了多头注意力的工作流程：

4.4 优势总结

多头注意力机制带来了显著的好处：

扩展了模型关注不同位置的能力：不同的头可以学习到不同类型的关系，如长距离依赖、局部依赖、语法依赖等。
提供了多个“表示子空间”：每个头都将信息投影到一个不同的子空间，这使得模型能够捕捉到更丰富、更多样的特征组合。

五、总结

今天，我们深入探索了 Transformer 模型最核心的基石——自注意力机制。通过本文的学习，我们应掌握以下核心要点：

革命性起点：Transformer 摒弃了 RNN/CNN 的传统序列处理范式，其成功的关键在于完全依赖自注意力机制 (Self-Attention)，实现了高效的并行计算和对长距离依赖的强大建模能力。
核心组件 Q, K, V：自注意力通过为每个输入引入查询 (Query)、键 (Key) 和值 (Value) 三个角色，实现了序列内部元素间的动态交互。
计算核心：缩放点积注意力 (Scaled Dot-Product Attention) 是自注意力的标准实现方式。其“计算分数 -> 缩放 -> Softmax -> 加权求和”的流程是关键，特别是缩放步骤对于稳定训练至关重要。
能力增强：多头注意力 (Multi-Head Attention) 机制通过并行运行多个注意力“头”，让模型能够从不同表示子空间、多角度地审视和捕捉序列中的复杂关系，极大地增强了模型的表征能力。

自注意力与多头注意力共同构成了 Transformer 中编码器和解码器的基本构建模块。在下一篇文章中，我们将把这些模块组装起来，深入探讨 Transformer 的完整架构，包括位置编码、前馈网络、层归一化等重要组件。敬请期待！

码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

AI 已经能直接改设计稿了:Windows部署Penpot，接入Codex MCP实测

码道开发者社区

【AI 业务流架构师】AI 业务流架构师方法论：Agentic AI 范式转移与业务编排思维

2026 年，Anthropic CEO Dario Amodei 在 Code with Claude 大会上的一个判断广为流传：一个人运营一家十亿美元级公司的概率是 70%–80%。这句话听起来像科幻小说的设定，但它背后是一个正在发生的结构性变化——AI 把"执行"的成本压到了历史低点，同时把"编排"的价值推到了前台。这意味着我们需要一套新的思考框架，来回答两个问题：一个人如何拥有一个公司的产