大模型切分总结
·
矩阵运算基础 Y=XW+B， X：输入， W:参数， Y：输出。 三步：正向计算Y、反向计算梯度、反向更新参数
|
X |
W |
应用场景 | 通信原语 | |
|---|---|---|---|---|
|
TP |
不切 |
切 |
multi-head attention, TP 为Head group | AR, RS, AG |
|
PP |
不切 |
切 |
模型按stage层切 | P2P |
|
DP |
切 |
不切 |
用于反向更新参数 | AR, RS, AG |
|
CP |
切 |
不切 |
长文本输入，ring-attention或者all2all | AR, RS, AG |
|
SP |
切 |
不切 |
laynorm函数, 通常与TP相等 | AR, RS, AG |
|
EP |
切 |
切 |
FNN层，降低参数规模 | ALL2ALL |
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
2
0- 0
已为社区贡献3条内容
所有评论(0)