线性回归，加权回归，推导过程

- 一普通线性回归OLS
- 二加权回归

一、普通线性回归(OLS)

损失函数：

J (w) = 1 n \sum i = 1 n (y i - w * x i) 2 = 1 n | | Y - X * w | | 2

$J(w)=\frac{1}{n}\sum_{i=1}^{n}(y_{i}-w*x_{i})^{2}=\frac{1}{n}||Y-X*w||^{2}$
其中：

Y $Y$ 、

w $w$ 、

xi $x_{i}$ 为向量，

X $X$ 为矩阵。对该损失函数求解如下，即为对

J(w) $J(w)$ 函数求

w $w$ 的偏导：

J (w) = 1 n | | Y - X * w | | 2 = 1 n (Y - X w) T (Y - X w) = 1 n (Y T - w T X T) (Y - X w) = 1 n (Y T Y - w T X T Y - Y T X w + w T X T X w)

$\begin{aligned} J(w)=\frac{1}{n}||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}(Y-Xw) \\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})(Y-Xw) \\&=\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw) \end{aligned}$
需要用到的矩阵求导公式为：

d B A d A = B T

$\frac{dBA}{dA}=B^{T}$

d A T B d A = B

$\frac{dA^{T}B}{dA}=B$

d A T B A d A = 2 B A

$\frac{dA^{T}BA}{dA}=2BA$
所以，

J(w) $J(w)$ 对

w $w$ 求导得到：

d J ( w ) d w = 1 d w (1 n (Y T Y - w T X T Y - Y T X w + w T X T X w)) = 1 n (0 - X T Y - X T Y + 2 X T X w) = 1 n (- 2 X T Y + 2 X T X w) = 0

$\begin{aligned} \frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw)\right) \\&=\frac{1}{n}(0-X^{T}Y-X^{T}Y+2X^{T}Xw) \\&=\frac{1}{n}(-2X^{T}Y+2X^{T}Xw)=0 \end{aligned}$
当

XTX $X^{T}X$ 为可逆矩阵的时候，有解：

w = (X T X) - 1 X T Y

$w=(X^{T}X)^{-1}X^{T}Y$
因为：

X w = X (X T X) - 1 X T Y = Y^= H^Y

$Xw=X(X^{T}X)^{-1}X^{T}Y=\hat{Y}=\hat{H}Y$
所以，帽子矩阵为：

H^= X (X T X) - 1 X T

$\hat{H}=X(X^{T}X)^{-1}X^{T}$

二、加权回归

损失函数：

J (w) = 1 n \sum i = 1 n α i (y i - w * x i) 2 = 1 n α | | Y - X * w | | 2

$J(w)=\frac{1}{n}\sum_{i=1}^{n}\alpha_{i}(y_{i}-w*x_{i})^{2}=\frac{1}{n}\alpha||Y-X*w||^{2}$
同理推导：

J (w) = 1 n α | | Y - X * w | | 2 = 1 n (Y - X w) T α (Y - X w) = 1 n (Y T - w T X T) α (Y - X w) = 1 n (Y T α Y - w T X T α Y - Y T α X w + w T X T α X w)

$\begin{aligned} J(w)=\frac{1}{n}\alpha||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}\alpha(Y-Xw) \\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})\alpha(Y-Xw) \\&=\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw) \end{aligned}$
其中，

α $\alpha$ 为是权重的对角矩阵。对

w $w$ 求导得到：

d J ( w ) d w = 1 d w (1 n (Y T α Y - w T X T α Y - Y T α X w + w T X T α X w)) = 1 n (0 - X T α Y - X T α Y + 2 X T α X w) = 1 n (- 2 X T α Y + 2 X T α X w) = 0

$\begin{aligned} \frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw)\right) \\&=\frac{1}{n}(0-X^{T}\alpha Y-X^{T}\alpha Y+2X^{T}\alpha Xw) \\&=\frac{1}{n}(-2X^{T}\alpha Y+2X^{T}\alpha Xw)=0 \end{aligned}$
所以，得到：

w = (X T α X) - 1 X T α Y

$w=(X^{T}\alpha X)^{-1}X^{T}\alpha Y$
加权的帽子矩阵为：

H^= X (X T α X) - 1 X T α

$\hat{H}=X(X^{T}\alpha X)^{-1}X^{T}\alpha$