pytorch项目代码总结

1. 半精度浮点型

• 如果想生成半精度浮点型训练模型，则在训练的过程中，模型和输入样本数据都要cuda().half()进行处理
• model.cuda().half()就可以实现对模型所有参数进行半精度浮点型设置
• 半精度浮点型模型如果是通过adam优化器训练得到的，可能会出现某些权重为NAN的情况，sgd没有这个问题
• 半精度浮点型模型在大型网络训练时，速度较于全精度快很多，但对于小模型速度提升不明显