大模型训练-训练数据量与训练周期（epoch）的关系
·
| 数据量 | 训练方法 | 推荐epoch | 说明 |
| 1000-5000 | 全参 | 1-3 | 数据量小，易过拟合，更适合小步快走。应该更加利用早停机制，避免资源浪费 |
| 1000-5000 | lora微调 | 3-10 | 数据量小，易过拟合，更适合小步快走。应该更加利用早停机制，避免资源浪费 |
| 5000-20000 | 全参 | 2-5 | 数据规模较多，数据多样性充足。可适当增加学习轮次 |
| 5000-20000 | lora微调 | 5-10 | 数据规模较多，数据多样性充足。可适当增加学习轮次 |
| >20000 | 全参 | 1-3 | 数据量巨大，在一个epoch中已经可以见到足够多的样本，核心策略，快速迭代。增加轮次收益小且易过拟合。 |
| >20000 | lora微调 | 2-5 | 数据量巨大，在一个epoch中已经可以见到足够多的样本，核心策略，快速迭代。增加轮次收益小且易过拟合。 |
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)