所用的服务器有4张卡，最近在使用yolov5训练分类模型的时候遇到了如何设置worker和batch的问题，查找了一些资料总结如下。
workers
在每个epoch加载数据时，dataloader一次性创建workers数量个工作进程，并且每个进行负责调度一个batch的数据，worker负责将batch加载到内存中，dataloader从RAM中找到这个epoch所需要的batch，如果找到就使用，如果没有就要继续加载batch到RAM。
如果workers设置的很大，优点是找batch的速度快，因为RAM中可能有好多个batch的数据在等待处理。缺点是CPU、内存开销大，因为是CPU负责调度进程加载数据到RAM中。
所以worker的设定需要根据自己的服务器设备情况和数据情况设定，如果CPU和RAM很强，就可以设置大一些，否则就需要设置小一些，如果单张图像很大，也需要设置小一些。
如果设置的worker很大，batch很大，则内存可能会爆掉，导致进程崩掉。
参考资料：
1、https://discuss.pytorch.org/t/guidelines-for-assigning-num-workers-to-dataloader/813/3
2、https://stackoverflow.com/questions/53998282/how-does-the-number-of-workers-parameter-in-pytorch-dataloader-actually-work
3、https://www.zhihu.com/question/422160231
4、https://blog.csdn.net/qq_24407657/article/details/103992170