参考文献
Learning Theory（Error Theory） 学习笔记
https://blog.csdn.net/kinbosong/article/details/60874007
斯坦福大学机器学习——误差理论（Error Theory）
https://blog.csdn.net/linkin1005/article/details/42563229?utm_source=blogxgwz0
模型评估与选择 （ Bias(偏差)，Error(误差)，和Variance(方差) ）
https://blog.csdn.net/PacosonSWJTU/article/details/59483747?utm_source=blogxgwz1
补充
期望与均值
虽然都是有平均的概念，但一个很根本的区别在于，期望是随机变量的总体的平均，而平均值是从总体中抽取出来的样本的平均。前者是理论上的值、理想值，后者是现实观察到的统计量。
举个例子，掷一枚六面均匀的骰子所得的点数 X，这是个随机变量，X 的期望是 3.5（= [ 1 + 2 + 3 + 4 + 5 + 6 ] / 6 ）。而平均值呢？将多次掷这枚骰子所得的点数求平均——比如掷五次取平均值，每次实验测得的平均值可能与期望 3.5 有差异。
期望和平均值的主要区别是：期望主要是针对大群体数据的计算，平均值主要针对小群体的计算。
1，均值（mean value）是针对既有的数值（简称母体）全部一个不漏个别都总加起来，做平均值（除以总母体个数），就叫做均值。
此法针对小群体做此加总后除以个数得到均值的方法，是很准确无误的，这个得到的均值是准确的，不会有模糊的概念。
但是当这个数群（data group）的数量（numbers）很大很多时，我们只好做个抽样（sampling），并“期望”透过抽样所得到的均值，去预测整个群体的“期望值（expectation value）”。
2，在概率论和统计学中，期望值（或数学期望、或均值，亦简称期望，物理学中称为期待值）是指在一个离散性随机变量试验中每次可能结果的概率乘以其结果的总和。
经验误差/期望误差/泛化误差的联系
简单说：经验误差的期望等于泛化误差。
