训练/测试结果达不到预期(自己改变batch_size会对结果产生影响,应该使用readme上写的)

我今天在尝试使用别人的网络来测试时,因为自己电脑的显存比较小,我就把测试时的batch-size改为了原来的一半,结果“测试结果达不到预期”,和他们readme上面的说得不一样,

于是我就怀疑是不是这个论文的代码在瞎写,可是这个论文的star为3K,然后它还是非常有影响力的一篇文章,然后我就去issue区去看有没有人遇到了相似的问题,

https://github.com/clovaai/stargan-v2/issues/101

 大致意思就是这个人使用的batch-size为readme标注的一半“4”(readme标出的为8),结果训练的结果很差,应该使用readme上默认的设置batch才可以达到同样的效果。

看完以后我才大为震惊,因为我很多时候都是用别人的代码进行训练自己的数据,结果却很多时候得不到很好的结果,我以为是任务不同造成的结果差异,其实我忘记考虑batch-size对训练结果的影响了,究其原因我想应该是我们改变batch-size,但是却忘记了batch-size对learning-rate还有其他一些hype-parameter的影响。

深度学习中batch size 和 learning rate有什么关系?

看来下一步应该是要购买:

1、超过24GB显存的大小的GPU;
2、64GB的内存
3、2T的黑盘存储

猜你喜欢

转载自blog.csdn.net/weixin_43135178/article/details/126835523