深度学习 batch_size epoch 优化

版权声明:作者 zeark 音频算法讨论群(153268894)欢迎转载 https://blog.csdn.net/u012514944/article/details/88635764

batch_size:可以理解为批处理参数,它的极限值为训练集样本总数。

epoch  指深度学习过程中,所有数据迭代的次数。

  • batch_size 太小,算法有可能需要更多epoches 才能收敛。
  • 随着 batch_size 增大,处理相同数据量的速度越快。
  • 随着 batch_size 增大,达到相同精度所需要的 epoch 数量越来越多。
  • 由于上述两种因素的矛盾,batch_size 增大到某个时候,达到时间上的最优。
  • 由于最终收敛精度会陷入不同的局部极值,因此batch_size 增大到某些时候,达到最终收敛精度上的最优。
  • 数据量的增加,要达到最终收敛最优的效果,修改batch_size ,epoch 不一定最好,主要建议调整神经网络单元来做优化。

最后的效果需要通过输出训练过程loss acc 图形来确认,以及其他针对性测试。

音频爱好者,欢迎大家加音频算法讨论群:(作者zeark)153268894

猜你喜欢

转载自blog.csdn.net/u012514944/article/details/88635764