简介

Skywork-R1V3将R1思路引入多模态大模型，提出需开发VLM特定RL配方。文章详述了数据构建、奖励函数设计、冷启动微调、强化学习微调(PPO/GRPO算法)及连接器模块微调三个训练阶段。研究通过消融实验验证了连接器模块对推理能力的关键作用，并发现课程学习策略可能降低模型泛化能力。

---

来看一个实验比较扎实的工作，Skywork-R1V3将R1的思路引入多模态大模型，提出：直接将RL技术从仅文本的大语言模型转移到VLMs是不够的，需要开发VLM特定的RL配方。下面来看看如何在VLM中引入COT的RL，供参考。

数据情况

1、冷启动微调数据

构建了一个包含约2万个实例的冷启动数据集，这些实例来自2024年之前的中国高中数学实践问题。数据集涵盖物理、化学、生物和数学四个主要学科（分布如下）。通过Skywork-R1V2模型生成每个问题的逐步思考过程，并使用拒绝采样策略筛选出最终答案与真实答案匹配的高质量实例。得到了大约12000个高质量的带有推理链的样本。

2、RL微调数据

K12难度多模态数学数据15000个样本，全部是多项选择题和填空题，每个实例由一个问题q和其对应的答案a组成，不包含显式的推理步骤。

3、连接器模块的调优数据

从20个不同领域中选择了10000个样本，用于在强化学习阶段之后对连接器模块进行专门的调优，以确保模型在不同领域中的知识和推理能力得到平衡和增强。

三个训练阶段的数据分布情况

后训练方法

1、奖励函数设计

Skywork-R1V3的奖励函数由两部分组成：

• 格式奖励：和dpsk那样，回答模板遵循结构 “< think >…< think >…”格式

• 准确性奖励：RL过程的主要目标，

  

  准确性奖励优化目标

2、冷启动微调

冷启动微调阶段的目标是通过使用早期版本的Skywork-R1V2模型生成的样本，初始化模型的推理能力。在这个阶段，模型被训练以采用“先思考后回答”的方式，这种能力是从LLM的预训练阶段继承而来的。

3、强化学习微调

用PPO和GRPO算法来优化模型的推理策略，

• PPO：通过限制策略更新的幅度来确保训练的稳定性，优化目标是最大化期望奖励。
• GRPO：针对稀疏的二进制奖励（0或1），通过组内归一化来估计优势函数，从而提供更丰富的学习信号。（关于GPRO这里不再赘述，可参考《DeepSeek采用的GRPO算法数学原理及算法过程浅析》）

实现细节上，使用VERL框架进行训练，逐步增加上下文和输出长度，并使用特定的超参数设置（如学习率、批量大小等）来优化训练过程。

4、连接器模块微调

作用是跨模态对齐，仅调整连接器参数，可以有效重新平衡模型的知识分布，而不影响其推理能力。训练过程中使用特定的超参数设置（如学习率、批量大小等），并通过早停策略避免过拟合。

消融研究

对不同组件进行消融研究

模块消融

从上图可以看到：视觉编码器是否激活对模型性能的影响不大，连接器模块被冻结或移除，模型会迅速失去推理能力，奖励曲线急剧下降。

引入课程学习策略，通过从简单到困难的问题逐步训练模型。实验结果显示，这种基于难度的课程学习策略并未提高模型的泛化能力。相反，模型在切换到更难的问题后，虽然在复杂任务上的表现有所提升，但在统一评估集上的表现却出现了偏差，尤其是在中等难度问题上的性能下降。这表明，模型在复杂任务上学到的特殊策略可能与中等难度任务的核心推理路径相冲突，从而削弱了整体泛化能力。

实验评测

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓