最小二乘法，笔记

前言

        普通最小二乘法（ordinary least squares, OLS）是线性回归预测问题中一个很重要的概念，在 Introductory Econometrics A Modern Approach (Fourth Edition) 第2章 简单回归模型 中，花了很详细的篇幅对此作出介绍。应聘数据挖掘岗位，就有考到对普通最小二乘法的推导证明。最小二乘法十分有用，例如可以用来做推荐系统、资金流动预测等。

推导证明

(1) 公式推导

(2) 求和性质

        求和性质，具体可以参考Introductory Econometrics A Modern Approach (Fourth Edition) 一书（计量经济学导论，第4版，杰弗里·M·伍德里奇 著）的附录A。

(3) 一般形式

        有了上述推导证明，普通最小二乘法一般形式可以写成（字母盖小帽表示估计值，具体参考应用概率统计）：

重要概念

        接下来简单地介绍几个重要概念，并在下一章节给出最小二乘法的无偏估计。

        记第i 次观测残差（residual）是y_i 的实际值与其拟合值之差：

扫描二维码关注公众号，回复： 1486246 查看本文章

        

        其中SST=SSE+SSR。

        拟合优度，有时又称“判定系数”，回归的R²（R-squared），用来判断直线拟合效果：

        当R² = 1时称为完美拟合，当R² = 1时称为糟糕拟合，最理想的观测是，第i 次情况 残差u=0。

        事实上，R²不因y 或x 的单位变化而变化。

        零条件均值，指给定解释变量的任何值，误差的期望值为零。换言之，即 E(u|x)=0。

无偏估计

        我们追求零条件均值，得到OLS 估计量的无偏估计：

        其中，

        现在我们可以看到，β₁ 的估计量等于总体斜率β₁ 加上误差 { u₁, u₂, ..., u_n }的一个线性组合。

“线性”含义

        线性回归问题中，“线性”的含义是指被估计参数β₁ 和β₂ 是线性相关的，而不关心解释变量与被解释变量以何种形式出现，例如y = kx + b，log(y) = kx + b，log(y) = klog(x) + b，etc. 下面列举一些常用的曲线方程：

1、双曲线 1/y = a + b/x

令y^'=1/y，x^'=1/x，则有y^'=a+bx^'

2、幂函数曲线y=ax^b

令y^'=lny，x^'=lnx，a^'=lna，则有y^'=a^'  +bx^'

3、指数函数曲线y=ae^bx

令y^'=lny，x^'=x，a^'=a，则有y^'=a^'+b  x^'

4、负指数函数曲线y=ae^b/x（同上）

5、对数函数y=a+blnx

令y^'=y，x^'=lnx，则有y^'=a+bx^'

6、S型（Logistic，逻辑斯蒂回归）曲线y=K/(1+Ae^-λx)

令y^'=ln((K-y)/y)，a=lnA，则有y^'=a-λx

多重线性回归

        多重回归研究的是变量y 与可控变量x₁，x₂，...，x_k 之间的线性关系，假设

        根据线性代数，则有

        得到

        与普通最小二乘法推导证明相似，可以得到β 的最小二乘估计

        此处不作证明，具体可参考《应用概率统计 张国权 著》第九章 回归分析。

==============================’

https://www.cnblogs.com/paiandlu/p/7843236.html

基本思想

求出这样一些未知参数使得样本点和拟合线的总误差（距离）最小

最直观的感受如下图（图引用自知乎某作者）

而这个误差（距离）可以直接相减，但是直接相减会有正有负，相互抵消了，所以就用差的平方

推导过程

1 写出拟合方程
y=a+bxy=a+bx

2 现有样本(x1,y1),(x2,y2)...(xn,yn)(x1,y1),(x2,y2)...(xn,yn)

3 设didi为样本点到拟合线的距离，即误差
di=yi−(a+bxi)di=yi−(a+bxi)

4 设DD为差方和（为什么要取平方前面已说，防止正负相互抵消）
D=∑i=1nd2i=∑i=1n(yi−a−bxi)D=∑i=1ndi2=∑i=1n(yi−a−bxi)

5 根据一阶导数等于0，二阶大于等于0（证明略）求出未知参数
对a求一阶偏导
∂D∂a=∑i=1n2(yi−a−bxi)(−1) =−2∑i=1n(yi−a−bxi) ∂D∂a=∑i=1n2(yi−a−bxi)(−1) =−2∑i=1n(yi−a−bxi) 
=−2(∑i=1nyi−∑i=1na−b∑i=1nxi) =−2(ny¯−na−nbx¯)=−2(∑i=1nyi−∑i=1na−b∑i=1nxi) =−2(ny¯−na−nbx¯)

对b求一阶偏导
∂D∂b=∑i=1n2(yi−a−bxi)(−xi) =−2∑i=1n(xiyi−axi−bx2i) ∂D∂b=∑i=1n2(yi−a−bxi)(−xi) =−2∑i=1n(xiyi−axi−bxi2) 
=−2(∑i=1nxiyi−a∑i=1nxi−b∑i=1nx2i) =−2(∑i=1nxiyi−nax¯−b∑i=1nx2i)=−2(∑i=1nxiyi−a∑i=1nxi−b∑i=1nxi2) =−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)

令偏导等于0得
−2(ny¯−na−nbx¯)=0−2(ny¯−na−nbx¯)=0
=>a=y¯−bx¯=>a=y¯−bx¯

−2(∑i=1nxiyi−nax¯−b∑i=1nx2i)=0−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)=0并将a=y¯−bx¯a=y¯−bx¯带入化简得
=>∑i=1nxiyi−nx¯y¯+nbx¯2−b∑i=1nx2i=0=>∑i=1nxiyi−nx¯y¯+nbx¯2−b∑i=1nxi2=0
=>∑i=1nxiyi−nx¯y¯=b(∑i=1nx2i−nx¯2)=>∑i=1nxiyi−nx¯y¯=b(∑i=1nxi2−nx¯2)
=>b=∑i=1nxiyi−nx¯y¯∑i=1nx2i−nx¯2=>b=∑i=1nxiyi−nx¯y¯∑i=1nxi2−nx¯2

因为∑i=1n(xi−x¯)(yi−y¯)=∑i−1n(xiyi−x¯yi−xiy¯+x¯y¯)=∑i=1nxiyi−nx¯y¯−nx¯y¯+nx¯y¯∑i=1n(xi−x¯)(yi−y¯)=∑i−1n(xiyi−x¯yi−xiy¯+x¯y¯)=∑i=1nxiyi−nx¯y¯−nx¯y¯+nx¯y¯
∑i=1n(xi−x¯)2=∑i−1n(x2i−2x¯xi+x¯2)=∑i=1nx2i−2nx¯2+nx¯2=∑i=1nx2i−nx¯2∑i=1n(xi−x¯)2=∑i−1n(xi2−2x¯xi+x¯2)=∑i=1nxi2−2nx¯2+nx¯2=∑i=1nxi2−nx¯2

所以将其带入上式得b=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2