上一篇我们介绍了 SwiGLU，通过引入门控机制让 FFN 能够根据输入动态筛选信息，取代了标准 Transformer 沿用多年的单通路结构。

前两篇的内容都关于结构上的优化，本篇则关于一个核心工程优化。
我们知道，即使是现在的多数大模型，其生成回答的逻辑仍然是自回归生成，即逐个字往外蹦。
因此，为了让 AI 能够真实应用，而不至于 “一个问题等一天” ，就出现了一系列的工程的优化。
其中的基石就是 KV Cache。

1. Decoder-Only#

18 年，OpenAI 提出了 GPT-1 ：Improving Language Understanding by Generative Pre-Training，其核心内容就是现在的 Decoder-Only 架构，这是目前绝大多数通用大语言模型采用的基本架构。

有了之前的基础，Decoder-Only 的逻辑并不难理解：
研究人员发现，对于语言建模任务而言，并不一定需要单独的 Encoder。只要让模型根据已有文本不断预测下一个 Token，就能够学习语言规律。

因此现代大模型直接移除了 Encoder，同时删除了依赖 Encoder 输出的 Cross Attention，最终仅保留 Decoder 中的 Masked Self-Attention 与 FFN 结构：

可以看到原始的 GPT-1 基本逻辑仍然是在预训练的模型基础上，继续用特定数据训练，让模型适应某个任务或领域，也就是 Fine-tuning，而这种基础的任务能力现在已经可以靠 prompt 来激活了。
因此，了解 Decoder-Only 架构本身的相关逻辑即可，这里展开两个细节：

1.1 用户输入是如何作用的？#

既然没有 Encoder，一个自然的问题是：

用户输入由谁来理解？

答案是：

用户输入本身就是 Decoder 的输入序列。

我们直接举个例子，用户提问：

法国的首都是哪里？

这句话会直接被转换为 Token 序列：

法国 的 首都 是 哪里 ?

随后送入 Decoder。模型经过一次前向传播后，预测：

巴黎

此时序列变成：

法国的首都是哪里？巴黎

之后同理，继续生成直到生成结束标记：

法国的首都是哪里？巴黎。它位于……

这种根据已经出现的内容预测下一个 Token 的过程就是自回归生成（Autoregressive Generation）。

1.2 Attention 中的重复计算问题#

明白了 Decoder-Only 的生成逻辑后，现在我们来看一个推理时的问题：

第 � 步时，模型需要计算 � 个 token 之间的自注意力，然后预测第 �+1 个 token。然后第 �+1 步，输入变成 �+1 个 token，再算一遍注意力，预测第 �+2 个。

现在，假设模型已经生成到了第 � 个 token，第 � 步计算了 token 1 到 � 之间所有注意力。到了第 �+1 步，输入变成了 token 1 到 �+1，标准做法会把 token 1 到 � 的 K 和 V 重新计算一遍。

问题就出在这个"再算一遍"上：

在第 � 步和 �+1 步之间，token 1 到 � 的 K 和 V 变了吗？

答案是没有。
在参数固定的推理阶段，token 1 在第一步后就固定了。token � 的内容同理在第 � 步生成后就已经固定了。它们的 K 和 V 不会因为一个新 token 的加入而改变。每次重新计算都是纯粹的浪费。

显然，这里存在相当大的优化空间，这便是 KV Cache 要解决的问题。

2. KV Cache#

2.1 KV Cache 的内容#

KV Cache 的思路很简单：

在第 � 步算完 �� 和 �� 后，把它们存起来。第 �+1 步只需要计算 ��+1 和 ��+1，然后把它们追加到缓存中。所有之前 token 的 K 和 V 直接从缓存读取。

就像这样：

步骤	计算内容	缓存
生成 token 1	算 �1,�1，存起来	[�1,�1]
生成 token 2	只算 �2,�2，追加到缓存