深度学习中模型的参数选择

1.优化器

    优化器一般选择 rmsprop,其适用于绝大多数问题,是最不用担心的因素。

2.激活函数

    中间层的激活函数一般选择 relu 函数以及其引申函数。当为二分类问题时,最后一层一般采用 sigmoid 激活函数。当为多分类问题时,最后一层一般采用 softmax 函数。当为回归问题时,最后一层不使用激活函数,因为激活函数会将无限空间映射到有限空间中,限制最后的结果。

3.损失函数(代价函数)

    二分类问题的损失函数一般选择为 binary_crossentropy,多分类问题的损失函数一般选择为 categorical_crossentropy,回归问题的损失函数一般选择为mean_squared_error。

4.模型观测参数(metrics)

    分类问题一般选取分类正确率 accuracy 作为衡量模型好坏的参数,而回归问题一般选择 mean_absolute_error。

5.模型规模

    当训练数据充分大时,模型往往越深越好。但当数据量不多时,模型规模越大越容易造成过拟合。每层参数的个数(节点数或卷积核大小)随层数增加而增加,代表模型学到的特征越来越多,否则将造成信息被压缩而丢失。最后一层的节点个数与需要分类的类别数相等,最终输出对应每种类别的概率。 

猜你喜欢

转载自blog.csdn.net/tyrannosar/article/details/79497425