Pytorch关于GPU利用率不高的问题解决方法

利用Resnet进行训练，发现训练速度不够快，因此查看了任务管理器里面的CPU和GPU使用率，发现CPU接近爆满状态，而GPU利用率只有个位数的百分比，就很奇怪，明明把模型和计算问题都送进GPU了，GPU才这么点利用率，因此怀疑这两者之间的关系，于是进行了如下的探索：
num_workers跟GPU的利用率有关：
1.num_worker=0的时候，GPU的占用率只有18%~30%。
2.num_worker=4的时候，GPU的占用率有了70~80%。

num_workers跟训练速度有关：
1.num_worker=0的时候，此时训练一个Epoch需要两分半钟
2.num_worker=4的时候，此时训练一个Epoch只需要不到一分钟

补充说明下，真实的GPU使用率需要在cmd中查看，输入nvidia-smi回车即可