通过half()把单精度float32转为半精度float16 超实用网络训练技巧 python

我在网上之前找了半天,也没找到能简洁明了地说怎么做能实现转半精度的,趁着弄清楚了,分享给大家。

我们都知道N卡早就支持半精度float16的运算了。跑深度学习的时候,在不苛求精度的前提下(大多数时候都是不需要的),通过half()把单精度float32转为半精度float16,使得整个网络调用的参数量直接砍掉一半,以便运行时间大大缩短。

方法:

我们知道把原在cpu运行的网络放到gpu上运行,只需要把网络模型和变量全都加上cuda()就可以了,如图

要实现把单精度float32转为半精度float16,就在所有的 .cuda() 后再加上 .half() ,如图

如果有哪个cuda()忘加half()了,就会报如上的错误,所以继续加half(), 如图

这次就大功告成了,确实发现快了,官方说法是运行速度提升了整整一倍,美滋滋!

注:

猜你喜欢

转载自blog.csdn.net/qq_39938666/article/details/89096672
今日推荐