回归分析（一）（一元线性回归）

客观世界中变量之间的关系一般可以分为两种类型。一种类型是，变量之间存在确定性关系，或称为函数关系。例如，圆的面积 $A$ 与圆的半径 $r$ 之间有关系 $A=\pi r^2$。这一类关系的特点是：一个变量随着其他变量的确定而确定。另一种类型是，变量之间存在相关关系。所谓变量间存在相关关系反映在以下两方面：其一，变量之间有某种联系；其二，这种联系又不同于函数关系，当自变量取某一数值时，因变量的取值带有随机性，是不确定的。即在这类相关关系中，“因变量”大都是随机变量。

回归分析就是研究随机因变量与可控自变量之间相关关系的一种统计方法。

一元线性回归模型

设随机变量 $y$ 与可控变量 $x$ 之间有相关关系，即当自变量 $x$ 取定值时，$y$ 有一个确定的分布与之对应。如果 $y$ 的数学期望存在，那么其值随 $x$ 的取值而定，因而是 $x$ 的函数，记为 $\mu (x)$，即 $\mu (x)=E[y|x]$，称 $\mu (x)$ 为 $y$ 关于 $x$ 的回归函数。

若假定 $y$ 满足关系式 $y=\mu (x)+\epsilon$，其中 $\epsilon$ 为具有零均值、有限方差的随机变量，则这就构建了一种回归模型，回归分析的基本任务是利用试验数据来推断回归函数 $\mu (x)$。

如果将回归函数局限在线性函数类中，即 $\mu (x)=a+bx$，那么对 $\mu (x)$ 的推断就简化为对线性函数 $a+bx$ 中的两个未知参数 $a,b$ 进行估计。下面就来介绍简单的回归模型——一元线性回归模型。

设 $x$ 是可控变量，$y$ 是与之相关的随机变量，假定它们满足关系式
$$y=a+bx+\epsilon ,\epsilon \sim N(0,{\sigma }^2)$$ 其中，$a,b$ 为回归系数。

当 $x$ 取不全相同的值 $x_1,x_2,...,x_n$ 时，对 $y$ 依次作独立观测试验，得 $n$ 对试验数据：$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$。它们满足关系式
$$\begin{array}{l}{y}_i=a+b{x}_i+{\epsilon }_i,i=1,\cdots ,n\\ {\epsilon }_1,\cdots ,{\epsilon }_n\text{为 i.i.d 且 }{\epsilon }_1\sim N(0,{\sigma }^2)\end{array}\}$$ 通常称上式为线性模型。对模型主要考虑下列问题：

1. 用 $n$ 对试验数据 $(x_i,y_i)$ 对 $a,b,{\sigma }^2$ 作估计；
2. 对回归系数 $b$ 作假设检验；
3. 对 $y$ 作预测。

一元线性回归模型得参数估计

$a,b$ 的最小二乘估计

作离差平方和
$$Q(a,b)=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$ 选择参数 $a,b$ 使 $Q(a,b)$ 达到最小，这种方法称为最小二乘法。用最小二乘法求出的估计量称为参数的最小二乘估计。经过一系列推导，可得 $a,b$ 的最小二乘估计为
$$\begin{gathered} \hat{b}=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2} \\ \hat{a}=\bar{y}-\hat{b}\bar{x} \end{gathered}$$ 称 $\hat{a}+\hat{b}x$ 为经验回归函数。

${\sigma }^2$ 的估计

因为 ${\sigma }^2=D(\epsilon )=E({\epsilon }^2)$，所以考虑用 $\frac{1}{n}{\sum }_{i=1}^n{\epsilon }_i^2$ 作为 ${\sigma }^2$ 的矩估计。由于 ${\epsilon }_i=y_i-a-b{x}_i$ 是未知的，以 $\hat{a},\hat{b}$ 替换未知参数，从而得到 ${\sigma }^2$ 的形式上的矩估计
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(y_i-\hat{a}-\hat{b}{x}_i{)}^2$$ 为了便于计算，将之变形为
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(y_i-\bar{y}{)}^2-\frac{{\hat{b}}^2}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

参数估计量的概率分布

$\hat{b}$ 的分布

记
$$\begin{array}{rl}{l}_{xx}& \cong \sum _{i=1}^n(x_i-\bar{x}{)}^2\\ l_{xy}& \cong \sum _{i=1}^n(y_i-\bar{y}{)}^2\\ l_{xy}& \cong \sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})=\sum _{i=1}^n(x_i-\bar{x})y_i\end{array}$$ 因为
$$\hat{b}=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2}=\frac{l_{xy}}{l_{xx}}=\sum _{i=1}^n{c}_i{y}_i$$ 其中 $c_i=\frac{(x_i-\bar{x})}{l_{xx}}$，又因为 $y_1,...,y_n$ 相互独立且 $y_i\sim N(a+b{x}_i,{\sigma }^2)$，所以 $\hat{b}$ 服从正态分布。它的期望值为 $E\hat{b}=b$，方差为 $D\hat{b}=\frac{{\sigma }^2}{l_{xx}}$。

$\hat{a}$ 的分布

由于 $\hat{a}=\bar{y}-\hat{b}\bar{x}={\sum }_{i=1}^n[\frac{1}{n}-\frac{(x_i-\overline{x})\overline{x}}{l_{xx}}]y_i$，可见 $\hat{a}$ 也服从正态分布。其均值为 $a$，方差为 $[\frac{1}{n}+\frac{{\bar{x}}^2}{l_{xx}}]{\sigma }^2$。

一元线性回归的假设检验

易知，若线性模型符合实际，则 $b$ 不应为零。为此，提出如下假设：
$$H_0:b=0$$ 取 $t=\frac{\hat{b}}{{\hat{\sigma }}^{\ast }}\sqrt{l_{xx}}(\text{其中 }{\hat{\sigma }}^{\ast }=\sqrt{{\hat{\sigma }}^{\ast 2}})$ 作为检验统计量，当 $H_0$ 成立时，由 $\hat{b}$ 的分布知 $t\sim t(n-2)$。故对给定的显著水平 $\alpha$，假设 $H_0$ 的拒绝域为 W = { ∣ t ∣ ≥ t α / 2 ( n − 2 ) } W=\{|t| \ge t_{\alpha/2}(n-2)\} W={ ∣t∣≥tα/2​(n−2)}.

记
$$r\triangleq \frac{l_{xy}}{\sqrt{l_{xx}{l}_{yy}}}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}\sqrt{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}}$$ $r$ 可以描述变量间线性相关的密切程度，并且它是无量纲的。在线性相关的研究中，通常都用 $r$ 衡量变量间线性相关的密切程度，$r$ 称为经验相关系数或样本相关系数。

参考文献

[1] 《应用数理统计》，施雨，西安交通大学出版社。