第二十章：
偏差和方差：误差的两大来源
你的猫识别器在开发集上的错误率是16%，训练集上的错误率是15%。
偏差：在训练集上的错误率。15%
方差：开发集上的表现比训练集差多少。16%-15%=1%
总误差 = 偏差+方差 = 16%
第二十一章：
通过偏差和方差来定义欠拟合和过拟合
训练集错误率：1%
开发集错误率：11%
方差为：10%
训练集误差低，开发集误差高。这就是过拟合。
训练集错误率：15%
开发集错误率：16%
方差为：1%
训练集和开发集误差都很高。这就是欠拟合。
训练集错误率：0.5%
开发集错误率：1%
方差为：0.5%
训练集合开发集误差都很低。拟合的很好。
第二十二章：
假设在一个语音设别算法中有14%的语音片段声音嘈杂即使是人类也无法识别。假设我们的算法：
训练集错误率：15%
开发集错误率：30%
那么：
最优错误率（‘不可避免偏差’）：14% 即使是世界上最好的语音系统，仍会有 14% 的误差。
可避免偏差：15%-14%=1% 即训练错误率和最优误差率之间的差值。
方差：15% 即开发错误和训练错误之间的差值。
最优错误率也被称为贝叶斯错误率（Bayes error rate），或贝叶斯率。
第二十三章：
如何处理偏差和方差
处理偏差（主要是欠拟合）：加深网络结构，L2正则化，BN层等等
处理方差（主要是过拟合）：增加数据集，dropout，正则化等等
第二十四章：
偏差和方差之间的权衡。
第二十五章:
避免偏差的技术：
1.加深网络结构
2.减少或者去除正则化
3.根据误差分析来修改输入特征
4.修改模型结构
第二十六章：
训练集误差分析
在训练数据上进行误差分析，处理方式类似于在开发集上设置一个 Eyeball 开发集。当你的算法有着高偏差时（例如算法没有很好拟合训练集的时候）这将有所帮助。
第二十七章：
减少方差的技术：
1.增加训练数据
2.加入正则化
3.加入提前终止
4.减少输入特征的数量和种类
5.减小模型规模