点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

想看更多面试题和答案，请加入AI校招群获取！

腾讯混元大模型面经

一面（1.5h） 

1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流 

2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么 

3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处 

4．有没有全量微调过 

5．推导一下神经网络反向传播的过程 

6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式 7．一道排列组合的概率题 

8．平常有用过 RLHF 吗，简单介绍一下 

9. 开放题：对目前大模型的发展有什么看法 

10. 代码：多头自注意力  

二面（1h） 

1．自我介绍，过实习和论文 

2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢 

3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗 

4．除了 DeepSpeed ，还用过其他的什么优化方法吗 

5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别 

6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗 

7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存

8. 在微调 Qwen 的时候，数据是怎么构造的 

9. 代码：无重复字符的最长子串

AI求职群成立！

价格：（189元）立减100！特惠仅89元

加入方式：扫码下方二维码，即可加入AI算法岗&开放岗求职群（知识星球）

建议：进群后，推荐下载知识星球APP使用，同时也可使用小程序或者知识星球公众号进行使用，可以发帖/提问/交流/回答，并可以快速访问群里的资源。

希望这个群可以让你少走一些弯路

扫码进群

如果喜欢招聘/面经/内推，麻烦给个在看