简单理解在线性函数的估计中bias（偏差）与variance（方差）的影响

对于估计所需求的函数，我们可以从自己所设定的n个函数中挑出一个误差与真实值相差的误差最小的函数$f^{\ast }(x)$，但是这个函数不一定是真实情况对应的函数$\hat{f}(x)$。

因为我们只是抽取了部分样本用来估计f(x)，进而找到了误差最小的$f^{\ast }(x)$，但与真实情况仍然存在误差，即与真正的$\hat{f}(x)$存在一定的距离。但是当我们抽取的样本越多，样本数量越接近无穷，得到的最佳估计函数$f^{\ast }(x)$越接近于$\hat{f}(x)$。

影响最佳估计函数的因素有两个：Bias（偏差） and Variance（方差）

为了更好地理解这个问题，我们引入概率论学过的知识点:
（1）$\bar{x}=\frac{1}{n}\sum _{k=1}^n{x}_i$（i从1到n），其中$x_i$是其中一个样本
总体均值 μ ≠ 样本均值 $\bar{x}$
但是 $\bar{x}$的期望$E(\bar{x})=\mu$，（也就是大量样本的样本均值的平均数），所以可以用样本均值的期望E($\bar{x}$)来估计总体均值 μ ，$\bar{x}$的期望$E(\bar{x})=\mu$的证明如下：
∵E($x_i)=\mu$
∴E($\bar{x})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}E(\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\ast n\mu =\mu$

（2）$D(\bar{x})=\frac{{\sigma }^2}{n}$，${\sigma }^2$是总体方差。

同样我们可以用样本方差$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2$估计总体方差${\sigma }^2$，但总体方差 ${\sigma }^2$ ≠ 样本方差 $S^2$。
∴ 我引入另一个公式$E(S^2)=\frac{n-1}{n}{\sigma }^2$，当n很大时，可以用$E(S^2)$ 来估计${\sigma }^2$。

简单来说，我们可以将估计 $\hat{f}(x)$ 的问题简化为打靶子，把求$\hat{f}(x)$ 比喻成在未知的地方找靶心。

开始的时候，你由于不知道靶心在哪里(假设此时你被蒙住了眼睛)，射了10枪后，将这些子弹的分散程度用$S^2$表示，在被告知这些子弹与真实靶心的距离后，你在所有的子弹痕迹中确定了最佳的靶心估计$f^{\ast }$，同时求出射出的所有子弹的平均位置$\bar{f}=E(f^{\ast })$。

此时在这个问题中$bias$就是实际靶心与平均子弹位置的距离，$variance$就是平均位置与你认为的最佳估计的距离。（如下图）

在射击10枪后，你确实得到了一个你认为最好的靶心估计量，但是它仍与真实的$\hat{f}(x)$存在差距，因为你只射击了10次、进行了一次实验，试验次数还不够多。

从上图中可以看出是否能找到最终的靶心与你每次射的10颗子弹位置及分布有关：
（1）当你的平均子弹位置与靶心离得越近，你的bias越小；反之越偏离靶心，bias越大。（下图是bias比较小的时候对应的效果）

（2）当所选取的区间里子弹越密集，variance越小，反之越大。

当只能射击10次的时候，我们希望找到bias与variance都小的射击结果，这样的估计值才会更接近我们的真实靶心$\hat{f}$

当可以进行多次试验时，我们也希望每次的射击结果的bias与variance都小，这样在通过取平均值时结果更稳定可信，更容易找到真实的靶心

在CSDN上写数学公式的方法请参考下面链接
https://www.cnblogs.com/peaceWang/p/Markdown-tian-jia-Latex-shu-xue-gong-shi.html