超参数的选择原则

网络容量:

网络中的神经单元数量越多,层数越多,神经网络的拟合能力越强。

但是训练速度、难度越大,越容易产生过拟合。

如何选择超参数:

所谓超参数,也就是搭建神经网络中,需要我们自己去选择的那些参数(不是通过梯度下降算法去优化的参数),比如中间层的神经元个数、学习率等。

如何提高网络的拟合能力:

1.增加层

2.增加隐藏层的神经元个数

对于这两种方法,单纯地增加神经元个数对于网络性能的提高并不明显(但每层的神经元个数也不能过小,否则会产生信息瓶颈,这样的话就会导致丢失一些信息,使得模型欠拟合),增加层会大大提高网络的拟合能力,这也就是为什么现在深度学习的层越来越深的原因

参数选择原则:

一、首先是开发一个过拟合的模型:

1.添加更多的层

2.让每一层变得更大

3.训练更多的轮次

二、然后是抑制过拟合:

1.添加dropout

2.正则化

3.图形增强:平移、翻转。。。

三、再次,调节超参数:如学习率、隐藏层单元数、训练轮次等

总结:

超参数的选择是一个经验与不断测试的结果。

经典的机器学习的方法,如特征工程、增加训练数据也要做。

也可以使用交叉验证。

猜你喜欢

转载自blog.csdn.net/fu_jian_ping/article/details/108442402
今日推荐