关键词：隐藏状态、门控机制、Self-Attention、位置编码、梯度消失

---

15天学习大模型打卡（2）：从 RNN 到 Transformer 的跨越

一、RNN：循环神经网络（Recurrent Neural Network）

🧠 核心思想

在每个时间步 $ t $，模型接收输入 $ x_t $，并结合上一时刻的隐藏状态 $ h_{t-1} $，计算当前状态 $ h_t $。

✅ 数学公式

$$\begin{array}{rl}{h}_t& =\tanh (W_{hh}{h}_{t-1}+W_{xh}{x}_t+b_h)\\ y_t& =W_{hy}{h}_t+b_y\end{array}$$

• $h_t\in {\mathbb{R}}^h$：隐藏状态（记忆）
• $x_t\in {\mathbb{R}}^d$：输入词向量
• $y_t\in {\mathbb{R}}^V$：输出（通常是词表上的概率分布）
• $W_{hh},W_{xh},W_{hy}$：可学习权重矩阵
• $\tanh$：激活函数，压缩数值范围

📐 网络架构（时间展开）

       x₁      x₂      x₃          x_T
       ↓       ↓       ↓           ↓
     ┌─────┐ ┌─────┐ ┌─────┐     ┌─────┐
  →  │  h₁ │→│  h₂ │→│  h₃ │→ ... │ h_T │→ y_T
     └─────┘ └─────┘ └─────┘     └─────┘
       ↑       ↑       ↑           ↑
      h₀      h₁      h₂         h_{T-1}

每个 $h_t$ 依赖 $h_{t-1}$，形成链式结构。

⚠️ 问题：梯度消失/爆炸

反向传播时，梯度通过链式法则：
$$\frac{\partial L}{\partial h_1}=\frac{\partial L}{\partial h_T}\cdot \prod _{t=2}^T\frac{\partial h_t}{\partial h_{t-1}}$$
若 $\Vert \frac{\partial h_t}{\partial h_{t-1}}\Vert <1$，梯度指数衰减 → 早期信息丢失

---

二、LSTM：长短期记忆网络

🎯 核心结构

LSTM 引入细胞状态 $c_t$ 作为长期记忆通道，并通过三个门控制信息流动。

✅ 数学公式

$$\begin{array}{rlrl}{f}_t& =\sigma (W_f\cdot [h_{t-1},x_t]+b_f)& & \text{遗忘门}\\ i_t& =\sigma (W_i\cdot [h_{t-1},x_t]+b_i)& & \text{输入门}\\ {\tilde{c}}_t& =\tanh (W_c\cdot [h_{t-1},x_t]+b_c)& & \text{候选记忆}\\ c_t& =f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t& & \text{更新细胞状态}\\ o_t& =\sigma (W_o\cdot [h_{t-1},x_t]+b_o)& & \text{输出门}\\ h_t& =o_t\odot \tanh (c_t)& & \text{输出隐藏状态}\end{array}$$

• $\sigma$：Sigmoid 函数（输出 0~1，控制“通过多少”）
• $\odot$：逐元素相乘（Hadamard 积）
• $[h_{t-1},x_t]$：拼接向量

📐 LSTM 单元结构（ASCII 图）

        x_t     h_{t-1}
         ↓       ↓
      +-----------------+
      |  Forget Gate f_t| → f_t ⊙ c_{t-1}
      |  Input Gate  i_t| → i_t ⊙ c̃_t
      |Candidate ĉ_t    |
      |  Output Gate o_t| → o_t ⊙ tanh(c_t)
      +-----------------+
               ↓
         c_{t-1} → ⊗ → c_t → tanh → ⊗ → h_t
               ↑         ↑           ↑
               └─────────┘           │
                                   h_t

细胞状态 $c_t$ 像一条“信息高速公路”，贯穿整个序列，门控决定信息的增删。

---

GRU（Gated Recurrent Unit）

简化公式：

$$\begin{array}{rlrl}{z}_t& =\sigma (W_z\cdot [h_{t-1},x_t])& & \text{更新门}\\ r_t& =\sigma (W_r\cdot [h_{t-1},x_t])& & \text{重置门}\\ {\tilde{h}}_t& =\tanh (W_h\cdot [r_t\odot h_{t-1},x_t])& & \text{候选状态}\\ h_t& =(1-z_t)\odot h_{t-1}+z_t\odot {\tilde{h}}_t& & \text{最终状态}\end{array}$$

💡 GRU 将细胞状态和隐藏状态合并，用两个门完成 LSTM 三个门的功能，更轻量。

---

三、Transformer：自注意力机制详解

🏗 整体架构（Encoder 部分）

Input Sequence: [x₁, x₂, ..., x_T]
       ↓
   Embedding + Positional Encoding
       ↓
   ┌───────────────────────────────┐
   │        Transformer Block      │
   │                               │
   │  ┌─────────────────────────┐  │
   │  │   Multi-Head Attention  │←─── Query, Key, Value
   │  └─────────────────────────┘  │
   │             ↓                 │
   │       LayerNorm + Residual    │
   │             ↓                 │
   │  ┌─────────────────────────┐  │
   │  │   Feed-Forward Network  │  │
   │  └─────────────────────────┘  │
   │             ↓                 │
   │       LayerNorm + Residual    │
   │                               │
   └───────────────────────────────┘
       ↓
   [h₁, h₂, ..., h_T]  → 上下文感知表示

---

🔍 Self-Attention 详细计算

1. 输入表示

每个词 $x_i$ 转为向量 ${\mathbf{x}}_i\in {\mathbb{R}}^d$

2. 线性变换（生成 Q, K, V）

$$\begin{array}{rl}\mathbf{Q}& =\mathbf{X}{W}_Q\\ \mathbf{K}& =\mathbf{X}{W}_K\\ \mathbf{V}& =\mathbf{X}{W}_V\end{array}$$

• $\mathbf{X}\in {\mathbb{R}}^{T\times d}$：输入矩阵
• $W_Q,W_K,W_V\in {\mathbb{R}}^{d\times d_k}$：可学习权重

3. 计算注意力分数

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

• $Q{K}^T\in {\mathbb{R}}^{T\times T}$：相似度矩阵
• $\sqrt{d_k}$：缩放因子，防止梯度消失
• softmax：归一化为概率分布

4. 多头注意力（Multi-Head）

$$\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,...,{\text{head}}_h)W^O$$
其中：
$${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$$

• 每个“头”关注不同语义（如语法、指代、情感）
• $W^O$：合并输出

---

📍 位置编码（Positional Encoding）

因为 Self-Attention 不关心顺序，必须加入位置信息。

常用正弦编码：
$$\begin{gathered} P{E}_{(pos,2i)}=\sin \left(\frac{pos}{10000^{2i/d}}\right) \\ P{E}_{(pos,2i+1)}=\cos \left(\frac{pos}{10000^{2i/d}}\right) \end{gathered}$$

• $pos$：位置索引
• $i$：维度索引
• 偶数位用 sin，奇数位用 cos

最终输入：
$${\mathbf{z}}_i={\mathbf{x}}_i+{\mathbf{p}}_i$$

---

🧩 Feed-Forward Network（FFN）

每个位置独立处理：
$$\text{FFN}(x)=W_2\cdot \text{ReLU}(W_{1}x+b_1)+b_2$$

• 通常是两层全连接网络
• 增强非线性表达能力

---

🔁 残差连接与层归一化

每个子层都有：
$$\text{LayerNorm}(x+\text{Sublayer}(x))$$

• 残差连接：防止梯度消失
• LayerNorm：稳定训练

---

四、对比总结（含架构特性）

特性	RNN	LSTM	GRU	Transformer
记忆机制	隐藏状态 $ h_t $	细胞状态 $ c_t $ + 门控	更新门 + 重置门	Self-Attention 权重
并行性	❌ 串行	❌ 串行	❌ 串行	✅ 全并行
长期依赖	差	较好	较好	极好
参数量	小	中	中	大
训练速度	慢	慢	中	快（并行）
架构核心	时间递归	门控 + 细胞状态	双门简化	多头注意力 + FFN

---

五、代码风格伪代码（帮助理解）

# RNN Cell
def rnn_step(x_t, h_prev, W_hh, W_xh, b):
    h_t = tanh(W_hh @ h_prev + W_xh @ x_t + b)
    return h_t

# LSTM Cell
def lstm_step(x_t, h_prev, c_prev, W_f, W_i, W_c, W_o, b_f, b_i, b_c, b_o):
    concat = concat(h_prev, x_t)
    f = sigmoid(W_f @ concat + b_f)          # 遗忘门
    i = sigmoid(W_i @ concat + b_i)          # 输入门
    c_tilde = tanh(W_c @ concat + b_c)       # 候选记忆
    c_t = f * c_prev + i * c_tilde           # 更新细胞状态
    o = sigmoid(W_o @ concat + b_o)          # 输出门
    h_t = o * tanh(c_t)                      # 输出隐藏状态
    return h_t, c_t

---

六、学习建议

• ✅ 推荐阅读：The Illustrated Transformer
• ✅ 动手实现：用 NumPy 写一个简易 Self-Attention
• ✅ 可视化工具：BERT-Viz 查看注意力头

---

这里的也留下来一个测试，各位同学可以试试，两天后我会发布代码

🚀 下一讲预告：我们将用 PyTorch 实现一个迷你 Transformer，从数据预处理到训练，完整走一遍流程！