【深度学习】问题总结

1 什么是结构化数据

有明确的特征值的数据,比如年龄等

无明确的特征值的数据称之为非结构化数据,比如图片

2 为什么近几年深度学习发展如此迅速

数据量的变大

计算机运算速度的变快

3 神经网络中w初试值不能为0向量

若w全部初始值为0,隐藏层中每个单元算出相同的值,在BP算法改变w时会发现每组w是相同的,即一个隐藏层中的所有单元失去作用,w初值一般是设置正太分布数据(np.random.randn())然后除根号下前一层网络的节点数


4 为什么我们要用深层网络,单层隐藏层不行吗



5 如何解决 high bias(欠拟合) high variance(过拟合)

欠拟合: 改变网络,一般是要增大网络

过拟合:首先想到的应该是增大数据量(不会导致欠拟合发生太大变化),然后才是加入正则化,同时换网络结构可能会管用

注意:现在的工具可以在改变一方的同时几乎不影响另一方,故深度学习不太用考虑2者的平衡性问题,这也是深度学习在监督学习上的优势

 防止过拟合方法总结:

    ①加入正则化

    ②Dropout

    ③增大训练集

    ④早期停止


6 L1正则与L2正则

L1正则:会使W变得稀疏

L2正则:称之为权重衰减


为什么正则化会减少过拟合:

随着λ的增大,W接近于0,使得部分unit失去能力,削减了网络的复杂性




猜你喜欢

转载自blog.csdn.net/csdn_black/article/details/80808029