【注】本篇内容基本来自于：【九天Hector的个人空间-哔哩哔哩】 https://b23.tv/md9rjFS，如侵删。

1. 对比PPO和GRPO算法原理？

【PPO算法原理】

训练时，首先由策略网络生成动作，然后由价值网络进行预估，并通过奖励函数（Reward Function) 对该动作打分；然后将奖励函数打分结果与价值网络的预估结果结合，计算出优势函数（Advantages），用来衡量“这个动作相比预估结果好多少”，如果优势为正，就提升该动作的概率；为负，则降低其概率，最终让模型的生成行为对齐人类偏好。

【GRPO】

GRPO是Deepseek提出的强化学习算法，他的核心思想是省略掉传统PPO中的价值网络，而是通过在同一个状态下采样一组动作，然后基于组内相对奖励进行归一化，来得到优势函数，进而进行策略更新。这种方法减少了训练开销，保证了稳定性，在大规模的微调任务中展现出极高的训练效率。

2. 为什么越来越多的模型倾向于采用GRPO，而不是PPO？

主要原因有三点：第一，GRPO不需要训练Critic（价值网络），工程上更轻量；

第二，大模型可以轻松在同一个提示下生成多组候选结果，满足组内对比的条件，GRPO实际训练效率更高；

第三，GRPO更加适合强化模型的数学、编程等方面能力，而这也是目前大模型主流训练方向。

3. GRPO相比PPO，最大的风险是什么？

GRPO依赖在同一提示下采样多条候选，如果采样不足或奖励模型区分能力有限，就可能导致训练信号不足或过拟合。

此外，没有Critic（价值网络）作为全局基线，GRPO可能在长地平线任务中收敛不稳定。

4. 在工程上，GRPO的组大小 k值 应该如何选择？

通常 k 设置在4-8之间比较合适。

k 太小，标准化效果不明显；k 太大，显存和算力消耗会显著增加。

如果奖励模型非常稳定，k 可以取小一些；如果奖励噪声较大，则建议增加 k 来提升训练的稳定性。

5. Qwen3提出的GSPO算法原理是什么？

GSPO (Group Sequence Policyoptimization) 是Qwen 团队提出的用于大模型后训练的新型强化学习算法，是一种基于DeepSeek提出的GRPO算法的改良算法。实际运算过程中，GSPO也会围绕一个提示生成多个响应，然后在每组内通过计算相对优势构造学习信号。

不过，和GRPO不同的是，GSPO在实际进行优化的时候，会把优化粒度从 token级别 提升到“序列级别”，也就是说，一次性会更新一整个序列。此外，GSPO会以“序列似然”为重要性比来进行 PPO 式的裁剪与更新，以避免长序列训练时易于发散的问题。

实测在相同算力下，GSPO能够获得更高的回报与基准成绩，并且随着计算投入训练效果可以持续爬升，具备良好的可拓展性。这也是Qwen3系列显著进步的关键后训练技术基础。

与此同时，由于GSPO不再依赖价值网络，它在大规模MoE训练中也减少了额外的通信和显存开销，工程上更加轻量。

6. 为什么GSPO要做”长度归一化“？

因为语言模型生成的回答长短不一，直接用 token 概率相乘，长回答会因为token数量多而天然概率偏低，导致在比较时吃亏。

长度归一化的作用就是把概率相乘的结果（logprob）除以序列长度，以确保长短回答在同一尺度下比较，这样才更加公平。

7. 相比PPO，GSPO有哪些优势？

首先，GSPO 在训练信号上更稳定。PPO 是逐 token 优化，奖励信号容易和整体回答脱节，导致更新方向不一致，而 GSPO 直接在序列级别对齐奖励，把整段回答当作一个整体来优化，更新方向更加清晰。

其次，GSPO不再依赖价值网络(Critic)，避免了 PPO 中价值网络估计不准带来的偏差，同时也降低了显存和算力开销。

第三，GSPO 在长序列任务中优势明显。PPO往往在长席列训练中容易积累噪声甚至发散，而 GSPO引入了序列级裁剪和长度归一化，保证长短回答都能公平比较，稳定性更好。

最后，GSPO的训练效率更高、目标更符合人类直觉。人类评价模型回答时是看整体逻辑，而不是逐字逐句挑毛病。GSPO 的优化目标正好与这种偏好一致，能更好地发挥奖励模型的作用。

8. GSPO算法适合执行哪些微调任务？

GSPO 典型的应用场景有三类。

第一，复杂推理任务，比如数学证明、逻辑推理、长链条的思维过程。这类任务要求答案的逻辑必须自治，逐 token 优化容易出现“前半句对、后半句错”的情况，而 GSPO 的序列级优化更能保证整段推理的连贯性。

第二，代码生成与执行任务。代码往往是“一字错，全盘废”，需要保证整体可执行性和正确性。GSPO 可以直接对整段代码打分并优化，让模型逐步学习如何生成高质量的可运行代码。

第三，Agent 工具调用与对话任务。比如模型调用外部 API、规划多步操作时，需要完整的调用序列或对话逻辑，而不是零散的正确token。GSPO 在序列层面对齐奖励，能更好地优化这类全局正确性要求高的场景。