深度学习笔记-偏差(Bias)，方差(variance)

• 若high bias，试着评估训练集或训练数据的性能。如果偏差值实在过高，甚至无法拟合数据，则应该选择一个新的网络(含有更多hidden layer，花费更多时间训练网络，或者more advanced algorithm)，反复尝试，直到bias变小，能拟合数据，这是最低标准
• 一旦偏差值降到了一个可以接受的范围，就要开始考虑 方差variance了
• 评估方差通常是看dev set性能。若方差过高，最好的方法是采取更多的数据，或者通过正则化来解决此问题，或者继续找更好的神经网络构架，可能会一箭双雕
• 偏差和方差可以通过训练集误差和验证集误差来判断
• 若train set error为1%，而dev set error为11%，此事训练集设置的很好但验证集不ok，此时过度拟合了训练集，认为是high variance;
• 而若训练集误差为16%，验证集误差为15%，若认为判断时误差基本上为0，此时可看出用这个算法训练的误差较大，训练数据拟合度不高，此时称为 欠拟合，也称 high bias。但是此时的验证集还是ok的，误差只比训练集的多1%
• 若error分别为 15%，30%，认为是 high variance and high bias(此时曲线几乎是线性，其中部分过度拟合部分数据); 若分别是 1%, 0.5%, 则很好，是low variance and low bias