pytorch1.0 半精度训练 Adam RMSprop 优化器 Nan 问题

版权声明：本文为博主的文章，未经博主禁止可以随意转载。 https://blog.csdn.net/ONE_SIX_MIX/article/details/86367086

半精度浮点数表示的范围比单精度的少很多

1. 使网络输入 值域缩放到 [-1, 1] 或 [0, 1]
2. 定义Adam优化器时，加入参数eps=1e-3
3. 定义RMSprop优化器时，加入参数eps=1e-2
4. 降低学习率

optimizer1 = optim.Adam(model.parameters(), lr=0.001, eps=1e-3)
optimizer2 = optim.RMSprop(model.parameters(), lr=0.001, eps=1e-2)