数据并行
数据并行 DP
模型并行有2种：pipeline并行，张量并行
模型并行——pipeline并行：
把不同的layer 放到不同的 gpu
model.parallelize()
模型并行——张量并行：
把同一个 layer 切分到不同的gpu 上
[nlp] 数据并行 & 模型并行
猜你喜欢
转载自blog.csdn.net/Trance95/article/details/131771727
今日推荐
周排行