前言

在 Transformer 结构中，自注意力机制的计算和存储复杂度与序列长度成平方关系，这导致其在长序列建模时消耗大量的显存和计算资源。因此，如何在保证建模能力的前提下优化注意力机制的时空复杂度、提升计算效率，成为大语言模型的重要研究方向。当前的优化思路主要包括两类：一是通过近似注意力降低计算和内存需求，例如稀疏近似和低秩近似方法；二是结合硬件特性，探索更高效的实现方式。

1.稀疏注意力机制

在对训练好的 Transformer 的注意力矩阵进行分析时发现，矩阵中存在大量稀疏结构，因此可以通过减少 Query-Key 的计算对数来降低复杂度。这类方法被称为稀疏注意力（Sparse Attention）。根据稀疏化的依据不同，稀疏注意力可分为基于位置和基于内容两大类。

其中，基于位置的稀疏注意力常见的形式包括：

1. 全局注意力（Global Attention）：引入少量全局节点，用于建模长距离依赖。
2. 带状注意力（Band Attention）：利用数据的局部性，仅让 Query 与相邻若干节点交互。
3. 膨胀注意力（Dilated Attention）：类似于 CNN 中的空洞卷积，通过设置间隔扩大感受野。
4. 随机注意力（Random Attention）：通过随机采样实现非局部信息交互。
5. 局部块注意力（Block Local Attention）：将序列划分为多个不重叠块，信息交互限制在块内。

在实际应用中，稀疏注意力机制往往采用上述几种方式的组合。例如：

• Star-Transformer：结合带状注意力和全局注意力，仅保留一个全局节点，并采用宽度为 3 的带状注意力。非相邻节点通过全局节点间接连接，相邻节点则直接相连。
• Longformer：结合带状注意力和内部全局节点注意力，并在部分层中使用膨胀窗口注意力，以扩大感受野而不增加计算量。
• ETC（Extended Transformer Construction）：结合带状注意力和外部全局节点注意力，并引入掩码机制以处理结构化输入，同时采用对比预测编码（CPC）进行预训练。
• BigBird：采用带状注意力、全局注意力和随机注意力的混合方式来近似全连接注意力。研究表明，稀疏编码器和解码器的组合能够模拟任意图灵机，这也从理论上解释了稀疏注意力模型取得良好性能的原因。

2.FlashAttention

在 NVIDIA GPU 中，不同类型的显存具有差异化的速度、容量和访问权限，这取决于它们位于 GPU 芯片内部还是板卡上的 RAM 存储芯片。总体来看，GPU 的显存可以分为六类：全局内存、本地内存、共享存储、寄存器、常量内存和纹理内存（如下图所示）。其中，全局内存、本地内存、共享存储和寄存器均支持读写操作。

• 全局内存与本地内存：二者基于板卡上的高带宽显存（HBM），容量大。全局内存可被所有线程访问，本地内存仅限当前线程使用。例如，NVIDIA H100 的全局内存容量高达 80GB，理论带宽为 3.35TB/s，但当所有线程并发访问时，实际可用带宽远低于峰值。
• 共享存储与寄存器：位于 GPU 芯片上，容量较小，但速度远快于全局内存。共享存储支持线程块内并行访问，而寄存器则仅限单线程使用。在 H100 中，每个线程块可分配的共享存储空间为 228KB。

在自注意力计算中，显存带宽常成为性能瓶颈。传统的 Attention 计算流程为：S = QK, P = Softmax(S), O = P V

该过程中，Q 和 K 首先从全局内存中读取，计算得到的 S 写回全局内存，再次读取进行 Softmax 得到 P，随后写入全局内存，最后读取 P 和 V 计算输出 O。频繁的全局内存读写严重占用带宽，而 GPU 的算力远超内存带宽，导致整体效率受限。

FlashAttention 针对这一瓶颈进行了优化。其核心思想是：充分利用 GPU 芯片上的高速共享存储（SRAM），最大限度减少对 HBM 的读写。为此，FlashAttention 需要在不完整加载整个输入矩阵的情况下完成 Softmax 计算，并在反向传播中避免存储中间注意力矩阵。

在标准 Attention 中，Softmax 按行计算，必须先得到 S 的完整一行结果，再与 V 做矩阵乘。而在 FlashAttention 中，输入被划分为小块，算法在块内进行多次迭代传递，以增量的方式完成 Softmax。这样无需将 S 和 P 整体写入全局内存，而是仅存储前向传播的 Softmax 归一化因子，反向传播时在片上快速重算注意力值。

这种方式极大减少了全局内存访问量，显著提升了效率。虽然需要额外的计算开销（FLOPS 增加），但总体运行速度更快、显存占用更低。

3.多查询注意力

多查询注意力（Multi-Query Attention, MQA） 是多头注意力的一种改进形式。与传统多头注意力不同，MQA 中的多个注意力头共享同一组键（Key）和值（Value）矩阵，每个头仅保留独立的查询（Query）参数。这样一来，键和值矩阵只需存储一份，大幅减少了显存开销，从而显著提升计算和存储效率。

需要注意的是，MQA 改变了注意力机制的结构，因此模型通常需要在训练初期就引入该机制。不过，已有研究表明，可以通过对已训练模型进行微调来增加 MQA 的支持，而且只需大约 5% 的原始训练数据即可取得较好效果。

目前，已有不少开源模型采用了多查询注意力，例如 Falcon、SantaCoder 和 StarCoder 等。

4.多头潜在注意力

多头潜在注意力（Multi-Head Latent Attention，MLA） 是 DeepSeek-V2 提出的注意力优化方法，核心目标是减少 KV 缓存 的大小，从而缓解推理过程中的显存和通信瓶颈。

在传统多头注意力（MHA）中，每个注意力头都需要单独存储完整的键（Key）和值（Value），这会占用大量显存。MLA 的做法是：先对键和值进行低秩压缩，得到一个更小的潜在表示，在推理时只需要缓存这个压缩后的表示，再通过上投影恢复即可。这种方式能在显著减少 KV 缓存的同时，保持模型的表达能力。

进一步优化时，查询（Query）也可以进行低秩压缩，以减少训练过程中的激活内存。这样，MLA 在推理和训练阶段都比传统注意力更高效。

研究表明，MLA 的表现力优于 组查询注意力（GQA）。在相同的 KV 缓存大小下，MLA 能展现出更大的多样性，而 GQA 因为组内的头是复制的，容易导致信息冗余。基于这一点，学者们提出了 TransMLA 方法，可以将现有的 GQA 模型（如 LLaMA、Qwen、Mixtral）转换为 MLA 模型，并通过少量训练进一步提升性能。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】