Pytorch——distributed单机多卡分布式训练

代码参考：

• pytorch单机多卡并行训练
• Distribution is all you need

讲解参考：

• Pytorch多机多卡分布式训练

报错解决参考：

• pytorch使用过程中的报错收集（持续更新…）

部分配置推荐

• Dataloader：
  • number_worker：CPU核数的一半（8核CPU的number_worker为4）
  • pin_mode：内存大的情况下可以开启

分布式代码模板

• Github链接

实际运行效果

训练拉满，基本能达到单卡的三倍：

多卡训练的模型，单卡环境评估或使用

• 解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
• 单卡环境读取多卡训练的模型