单变量线性回归 (Linear regression with one variable / Univariate linear regression)
m
m
m
x
x
x
y
y
y
(
x
,
y
)
(x,y )
( x , y )
(
x
(
i
)
,
y
(
i
)
)
(x^{(i)}, y^{(i)})
( x ( i ) , y ( i ) )
i
i
i
n
n
n
x
(
i
)
x^{(i)}
x ( i )
i
i
i
x
j
(
i
)
x_j^{(i)}
x j ( i )
i
i
i
j
j
j
h
θ
(
x
)
=
θ
0
+
θ
1
x
1
+
θ
2
x
2
+
.
.
.
+
θ
n
x
n
h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n\\
h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n
另外的定义
x
0
=
1
x_0=1
x 0 = 1
x
=
[
x
0
x
1
x
2
.
.
.
x
n
]
θ
=
[
θ
0
θ
1
θ
2
.
.
.
θ
n
]
x=\begin{bmatrix}x_0\\x_1\\x_2\\.\\.\\.\\x_n\end{bmatrix}\qquad \theta=\begin{bmatrix}\theta_0\\\theta_1\\\theta_2\\.\\.\\.\\\theta_n\end{bmatrix}
x = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ x 0 x 1 x 2 . . . x n ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ θ = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ θ 0 θ 1 θ 2 . . . θ n ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
h
θ
(
x
)
=
θ
0
x
0
+
θ
1
x
1
+
.
.
.
θ
n
x
n
=
θ
T
x
\begin{aligned} h_\theta(x) &=\theta_0x_0+\theta_1x_1+...\theta_nx_n\\ &=\theta^Tx \end{aligned}
h θ ( x ) = θ 0 x 0 + θ 1 x 1 + . . . θ n x n = θ T x
J
(
θ
0
,
θ
1
,
.
.
.
,
θ
n
)
=
1
2
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
−
y
(
i
)
)
)
2
J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}-y^{(i)}))^2
J ( θ 0 , θ 1 , . . . , θ n ) = 2 m 1 i = 1 ∑ m ( h θ ( x ( i ) − y ( i ) ) ) 2
“Batch” Gradient Descent
n
n
n
r
e
p
e
a
t
u
n
t
i
l
c
o
n
v
e
r
g
e
n
c
e
{
θ
j
:
=
θ
j
−
α
∂
∂
θ
j
J
(
θ
0
,
θ
1
.
.
.
θ
n
)
}
\begin{aligned} & repeat\;until\;convergence\;\{\\ & \qquad \theta_j:=\theta_j-\alpha \frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1...\theta_n)\\ & \}\\ \end{aligned}
r e p e a t u n t i l c o n v e r g e n c e { θ j : = θ j − α ∂ θ j ∂ J ( θ 0 , θ 1 . . . θ n ) }
α
\alpha
α
θ
\theta
θ
如果
α
\alpha
α
如果
α
\alpha
α
J
(
θ
)
J(\theta)
J ( θ )
对于
α
\alpha
α
.
.
.
,
0.001
,
0.003
,
0.01
,
0.03
,
0.1
,
0.3
,
1
,
.
.
.
...,0.001,0.003,0.01,0.03,0.1,0.3,1,...
. . . , 0 . 0 0 1 , 0 . 0 0 3 , 0 . 0 1 , 0 . 0 3 , 0 . 1 , 0 . 3 , 1 , . . .
梯度(Gradient) 也就是下降速度，表示为斜率，每个参数按照不同方向的斜率，尽快的下降。越接近最小值，变化速率也会随着斜率的减小自动的减小。
J
(
θ
0
,
θ
1
.
.
.
θ
n
)
=
1
2
m
∑
i
=
1
m
(
θ
0
+
θ
1
x
1
(
i
)
+
.
.
.
+
θ
n
x
n
(
i
)
−
y
(
i
)
)
2
∂
∂
θ
j
J
(
θ
0
,
θ
1
.
.
.
θ
n
)
=
J
(
θ
0
+
θ
1
x
1
(
i
)
+
.
.
.
θ
n
x
n
(
i
)
−
y
(
i
)
)
∗
x
j
(
i
)
\begin{aligned} J(\theta_0,\theta_1...\theta_n)&=\frac{1}{2m}\sum_{i=1}^{m}(\theta_0+\theta_1x_1^{(i)}+...+\theta_nx_n^{(i)}-y^{(i)})^2 \\ \frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1...\theta_n)&=J(\theta_0+\theta_1x_1^{(i)}+...\theta_nx_n^{(i)}-y^{(i)})*x_j^{(i)} \end{aligned}
J ( θ 0 , θ 1 . . . θ n ) ∂ θ j ∂ J ( θ 0 , θ 1 . . . θ n ) = 2 m 1 i = 1 ∑ m ( θ 0 + θ 1 x 1 ( i ) + . . . + θ n x n ( i ) − y ( i ) ) 2 = J ( θ 0 + θ 1 x 1 ( i ) + . . . θ n x n ( i ) − y ( i ) ) ∗ x j ( i )
梯度下降很容易陷入局部最优，只要初始值偏离一点，最后也可能会落在不同的最优处。
但是对于线性回归来说，所有的函数都是凸函数，也就是说局部最优就是全局最优。
在多元线性回归中，两个变量范围相差太大，每一次迭代的步子都可能会非常小，也就需要很多的迭代次数。
特征缩放的目的是让所有的变量
x
i
x_i
x i
−
1
≤
x
i
≤
1
-1\le x_i\le 1
− 1 ≤ x i ≤ 1
(
−
3
,
3
)
,
(
−
1
3
,
1
3
)
(-3,3), (-\frac{1}{3},\frac{1}{3})
( − 3 , 3 ) , ( − 3 1 , 3 1 )
扫描二维码关注公众号，回复：
8804100 查看本文章
均值归一（Mean normalization）：
x
i
=
x
i
−
μ
i
s
i
x_i=\frac{x_i-\mu_i}{s_i}
x i = s i x i − μ i
μ
i
=
x
i
的平均值
\mu_i= x_i\text{的平均值}
μ i = x i 的平均值
s
i
=
x
i
的取值范围
(
m
a
x
−
m
i
n
)
s_i = x_i\text{的取值范围}\qquad (max-min)
s i = x i 的取值范围 ( m a x − m i n )
对于多项式模型的假设函数，如：
h
θ
=
θ
0
+
θ
1
x
+
θ
2
x
2
+
θ
3
x
3
h_\theta=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3
h θ = θ 0 + θ 1 x + θ 2 x 2 + θ 3 x 3
x
1
=
x
,
x
2
=
x
2
,
x
3
=
x
3
x_1=x,x_2=x^2,x3=x^3
x 1 = x , x 2 = x 2 , x 3 = x 3
通常需要特征缩放。
对于
m
m
m
n
n
n
m
m
m
x
(
i
)
x^{(i)}
x ( i )
y
y
y
x
(
i
)
x^{(i)}
x ( i ) 设计矩阵(design matrix)
X
X
X
x
(
i
)
=
[
x
0
i
x
1
i
x
2
i
.
.
.
x
n
i
]
∈
R
n
+
1
X
=
[
(
x
(
1
)
)
T
(
x
(
2
)
)
T
.
.
.
(
x
(
m
)
)
T
]
y
=
[
y
(
1
)
y
(
2
)
.
.
.
y
(
m
)
]
x^{(i)}= \begin{bmatrix} x_0^{i}\\ x_1^{i}\\ x_2^{i}\\ .\\ .\\ .\\ x_n^{i}\\ \end{bmatrix}\in \mathbb{R}^{n+1} \qquad\qquad X= \begin{bmatrix} (x^{(1)})^T\\ (x^{(2)})^T\\ .\\ .\\ .\\ (x^{(m)})^T \end{bmatrix} \qquad\qquad y= \begin{bmatrix} y^{(1)}\\ y^{(2)}\\ .\\ .\\ .\\ y^{(m)}\\ \end{bmatrix}
x ( i ) = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ x 0 i x 1 i x 2 i . . . x n i ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ∈ R n + 1 X = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ ( x ( 1 ) ) T ( x ( 2 ) ) T . . . ( x ( m ) ) T ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ y = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ y ( 1 ) y ( 2 ) . . . y ( m ) ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
θ
\theta
θ
θ
=
(
X
T
X
)
−
1
X
T
y
\theta=(X^TX)^{-1}X^Ty
θ = ( X T X ) − 1 X T y
与梯度下降相比，正则化不需要计算出
α
\alpha
α
n
n
n
X
T
X
X^TX
X T X
n
×
n
n\times n
n × n
O
(
n
3
)
O(n^3)
O ( n 3 )
一般情况下
X
T
X
X^TX
X T X
O
c
t
a
v
e
Octave
O c t a v e
p
i
n
v
pinv
p i n v
不可求逆的一般原因：
特征之间线性依赖，存在多余的特征
特征过多 (
m
≤
n
m\le n
m ≤ n
删除掉无关特征，或者使用正则化(regularization)
[1].吴恩达机器学习 第二章-单变量线性回归 [2].吴恩达机器学习 第五章-多变量线性回归 [3].黄海广博士笔记
