前言

在大语言模型（LLM）的推理过程中，显存消耗主要由以下部分构成：

• 模型参数（weights）
• KV Cache（注意力缓存）
• 激活值（activations）
• 临时 buffer 与调度开销

以下将以 Qwen3-32B 模型为例，结合 vLLM 框架进行详细分析。

1、模型参数

推理时，模型权重常驻显存。以 Qwen3-32B（约 32B 参数）为例，采用 FP16 存储：

param_memory = num_params × dtype_size≈ 32B × 2 bytes≈ 64 GB

2、激活值

激活值是前向传播时各层的中间结果。

理论上界（不做释放时）：

act_memory_upper = batch_size × seq_len × hidden_size × num_layers × dtype_size

代入参数（bs=1，hidden_size=5120，layers=64，dtype=2B）：

• 8K：≈ 5.0 GB
• 32K：≈ 20.0 GB

实际情况：vLLM 推理中激活值大部分在****prefill 阶段临时存在，prefill 结束后会被释放。

因此常见占用：

• 8K：1–3 GB
• 32K：3–6 GB
• decode 阶段：可忽略（MB 级）

为何 vLLM 激活值实际显存远小于估值？（常见 8K：1–3 GiB，32K：3–6 GiB）

理论上界假设“所有层、所有中间激活都需同时保存”。推理阶段（非训练）不需要反向传播，因此可以做大量释放与重用，vLLM 采用一系列优化使得实际占用远小：

关键优化与影响（每条都降低实际峰值）

前向后释放（layer-by-layer release）

推理只需当前执行层的激活用于下一层计算，上一层的中间激活多数可以释放（不必保存用于反向）。

如果只保留“当前层”的激活，内存需求变为：

per_layer_bytes = seq_len × hidden_size × dtype_size

8K：8192 × 5120 × 2 = 83,886,080 bytes ≈ 0.078125 GiB（≈ 80 MB）

32K：32768 × 5120 × 2 = 335,544,320 bytes ≈ 0.3125 GiB（≈ 312 MB）

分块/流式处理（block-wise / streaming）

vLLM 按 block（如 16 token）来分页计算/存储 KV 与激活，处理时只需把一小块数据保留在 GPU，减少瞬时峰值。

这降低了在 prefill 中的内存高峰，因为不会把整条序列的所有中间激活长时间驻留。

实际示例估算（给出可复现的假设）

我们用“只保留少数层激活 + 算子/buffer 开销”来做近似估算，得到常见的 1–3 GiB / 3–6 GiB 范围。

估算方法 A：保留 k 层当前激活（k 为同时需要保留的层数）

approx_act_bytes = per_layer_bytes × k  + operator_workspace

per_layer_bytes 已算出：

• 8K per_layer ≈ 0.078125 GiB（≈ 80 MB）
• 32K per_layer ≈ 0.3125 GiB（≈ 312 MB）

假设 k = 8（在并行/流水或某些实现中可能需要同时保留几个层的激活），再加 operator_workspace（算子临时缓冲）假设 0.2–1.0 GiB：

8K：0.078125 × 8 = 0.625 GiB；加 workspace 0.4–1.5 GiB → 1.0–2.1 GiB（约 1–3 GiB）

32K：0.3125 × 8 = 2.5 GiB；加 workspace 0.5–3.0 GiB → 3.0–5.5 GiB（约 3–6 GiB）

估算方法 B：块流式极端情况（只保留 1 层，且有较少 workspace）

若 k = 1，workspace ≈ 0.2–0.5 GiB：

• 8K：0.078 + 0.2 ≈ 0.28 GiB（≈ 280 MB）
• 32K：0.312 + 0.2 ≈ 0.512 GiB（≈ 512 MB）

这适合非常流式、内存优化极致的实现。

因此，基于不同实现细节（k 的大小、workspace 大小、是否做重计算等），prefill 峰值通常落在我们给出的区间：

• 8K：約 1–3 GiB（常见）
• 32K：約 3–6 GiB（常见）

3、KV Cache 计算

单层、单 token：

kv_per_token_per_layer = 2 × num_kv_heads × head_size × dtype_size= 2 × 8 × 80 × 2= 2560 bytes ≈ 2.5 KB

全层、单 token：

kv_per_token_all_layers = kv_per_token_per_layer × num_layers= 2560 × 64= 163,840 bytes ≈ 0.156 MiB

上下文总量：

kv_total = seq_len × kv_per_token_all_layers

8K：8192 × 163,840 ≈ 1.25 GB

32K：32768 × 163,840 ≈ 5.0 GB

block_size 的含义

在 vLLM 中：

• block_size 表示每个 block 能存放的****token 数。
• 每个 token 的 KV 包含所有层的 KV（不是单层）。

所以：

block_bytes = block_size × kv_per_token_all_layers

即 一个 block 存放的是 N 个 token 跨所有层的 KV。

例如：block_size=16

block_bytes = 16 × 163,840 = 2,621,440 bytes ≈ 2.5 MiB

这样设计的原因：

• 分配/释放 KV Cache 时以 block 为粒度，简化内存管理。
• 不需要为每层单独分 block，而是一次性分配跨所有层的 KV 空间。

4、总体分析

5、结论

如下：

• 模型参数是显存的主要常驻部分（Qwen3-32B 约 64GB）。
• KV Cache 随上下文长度和并发增长，Qwen3-32B 在 32K 时约 5GB。
• 激活值是 Prefill 阶段的显存峰值来源，但会在进入 Decode 阶段后大幅下降。
• **block_size 在 vLLM 表示的是 “**跨所有层的 KV Cache token 粒度”，不是单层维度。

因此，大模型推理的显存瓶颈主要由参数+KV Cache 决定，而激活值只在 Prefill 阶段显著影响峰值。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】