1 什么是结构化数据
有明确的特征值的数据,比如年龄等
无明确的特征值的数据称之为非结构化数据,比如图片
2 为什么近几年深度学习发展如此迅速
数据量的变大
计算机运算速度的变快
3 神经网络中w初试值不能为0向量
若w全部初始值为0,隐藏层中每个单元算出相同的值,在BP算法改变w时会发现每组w是相同的,即一个隐藏层中的所有单元失去作用,w初值一般是设置正太分布数据(np.random.randn())然后除根号下前一层网络的节点数
4 为什么我们要用深层网络,单层隐藏层不行吗
5 如何解决 high bias(欠拟合) high variance(过拟合)
欠拟合: 改变网络,一般是要增大网络
过拟合:首先想到的应该是增大数据量(不会导致欠拟合发生太大变化),然后才是加入正则化,同时换网络结构可能会管用
注意:现在的工具可以在改变一方的同时几乎不影响另一方,故深度学习不太用考虑2者的平衡性问题,这也是深度学习在监督学习上的优势
防止过拟合方法总结:
①加入正则化
②Dropout
③增大训练集
④早期停止
6 L1正则与L2正则
L1正则:会使W变得稀疏
L2正则:称之为权重衰减
为什么正则化会减少过拟合:
随着λ的增大,W接近于0,使得部分unit失去能力,削减了网络的复杂性