-
过拟合
内容解析:
过拟合的直观表现:模型在训练数据集上有着良好的表现,而在测试集上表现却很差;
过拟合的根本原因:模型的泛化能力差。(1)过多的考虑了在训连数据集上的表现(2)训练样本太少。
解决方法:
(1)扩展数据集
(2)正则化
(3)CNN网络权值共享(降低模型复杂度)
(4)dropout(类似于随机森林)
(5)early stopping(交叉验证) -
梯度消失/爆炸
内容解析:深度神经网络中的方向传播算法(Back Propogation)。
解决方法:采用RELU激活函数及其变体。 -
内部协方差偏移
内容解析:机器学习的基本假设:模型的输入样本独立同分布
解决方法:Batch Normalization -
模型退化
内容解析:直观表现:56层的CNN网络在性能上不如20层的CNN网络。
解决方法:残差网络。 -
神经网络轻量化
【面试必备】之《深度神经网络一路走来所遇到的的问题》
猜你喜欢
转载自blog.csdn.net/qq_27577651/article/details/106786507
今日推荐
周排行