这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站 上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。作者GitHub 上查看下载。
!!! note “weiya 注：翻译”
在很多情形下我们有很多输入，这些输入的相关性经常是非常强的．这一小节中的方法产生较少的原输入变量
X
j
X_j
X j
Z
m
,
m
=
1
,
2
,
…
,
M
Z_m,m=1,2,\ldots,M
Z m , m = 1 , 2 , … , M
Z
m
Z_m
Z m
X
j
X_j
X j
在这种方法下，使用的线性组合
Z
m
Z_m
Z m 3.4.1 节 中定义的主成分．
主成分回归构造派生的输入列
z
m
=
X
v
m
\mathbf z_m=\mathbf Xv_m
z m = X v m
z
1
,
z
2
,
…
,
z
M
,
M
≤
p
\mathbf z_1,\mathbf z_2,\ldots,\mathbf z_M,\; M\le p
z 1 , z 2 , … , z M , M ≤ p
y
\mathbf y
y
z
m
\mathbf z_m
z m
y
^
(
M
)
p
c
r
=
y
ˉ
1
+
∑
m
=
1
M
θ
^
m
z
m
(3.61)
\hat{\mathbf y}^{pcr}_{(M)}=\bar y\mathbf 1+\sum\limits_{m=1}^M\hat{\theta}_m\mathbf z_m\tag{3.61}
y ^ ( M ) p c r = y ˉ 1 + m = 1 ∑ M θ ^ m z m ( 3 . 6 1 )
其中，
θ
^
m
=
⟨
z
m
,
y
⟩
/
⟨
z
m
,
z
m
⟩
\hat\theta_m=\langle \mathbf z_m,\mathbf y\rangle/\langle\mathbf z_m,\mathbf z_m\rangle
θ ^ m = ⟨ z m , y ⟩ / ⟨ z m , z m ⟩ ESL3.2 ）因为每个
z
m
\mathbf z_m
z m
x
j
\mathbf x_j
x j
x
j
\mathbf x_j
x j
β
^
p
c
r
(
M
)
=
∑
m
=
1
M
θ
^
m
v
m
(3.62)
\hat\beta^{pcr}(M)=\sum\limits_{m=1}^M\hat\theta_mv_m\tag{3.62}
β ^ p c r ( M ) = m = 1 ∑ M θ ^ m v m ( 3 . 6 2 )
岭回归下，主成分依赖输入
x
j
\mathbf x_j
x j
M
=
p
M=p
M = p
Z
=
U
D
\mathbf Z=\mathbf U\mathbf D
Z = U D
X
\mathbf X
X
M
<
p
M < p
M < p
p
−
M
p-M
p − M
图 3.17 岭回归运用 (3.47) 中的收缩因子
d
j
2
/
(
d
j
2
+
λ
)
d_j^2/(d_j^2+\lambda)
d j 2 / ( d j 2 + λ )
在图 3.7 中我们看到交叉验证表明有 7 项；最终模型在表 3.3 中有最低的测试误差．
这个技巧也构造了一系列用于回归的输入变量的线性组合，但是与主成分回归不同的是它采用
y
\mathbf y
y
X
\mathbf X
X 尺度不变 (scale invariant) 的，所以我们假设每个
x
j
\mathbf x_j
x j
j
j
j
φ
^
1
j
=
⟨
x
j
,
y
⟩
\hat \varphi_{1j}=\langle \mathbf x_j, \mathbf y\rangle
φ ^ 1 j = ⟨ x j , y ⟩
z
1
=
∑
j
φ
^
1
j
x
j
\mathbf z_1=\sum_j\hat \varphi_{1j}\mathbf x_j
z 1 = ∑ j φ ^ 1 j x j 在每个
z
m
\mathbf z_m
z m
y
\mathbf y
y ．
!!! note “weiya 注：原书脚注”
x
j
\rm{x}_j
x j
φ
^
1
j
\hat\varphi_{1j}
φ ^ 1 j
输出变量
y
\mathbf y
y
z
1
\mathbf z_1
z 1
θ
^
1
\hat \theta_1
θ ^ 1
x
1
,
x
2
,
…
,
x
p
\mathbf x_1,\mathbf x_2,\ldots,\mathbf x_p
x 1 , x 2 , … , x p
z
1
\mathbf z_1
z 1
M
≤
p
M\le p
M ≤ p
z
1
,
z
2
,
…
,
z
M
\mathbf z_1,\mathbf z_2,\ldots, \mathbf z_M
z 1 , z 2 , … , z M
M
=
p
M=p
M = p
M
<
p
M< p
M < p
!!! note “weiya 注：”
a
\mathbf a
a
b
\mathbf b
b
b
\mathbf b
b
a
\mathbf a
a
b
\mathbf b
b
a
\mathbf a
a
γ
^
=
⟨
a
,
b
⟩
⟨
a
,
a
⟩
\hat \gamma = \dfrac{\langle \mathbf a,\mathbf b\rangle}{\langle \mathbf a,\mathbf a\rangle}
γ ^ = ⟨ a , a ⟩ ⟨ a , b ⟩
b
\mathbf b
b
a
\mathbf a
a
算法 3.3 偏最小二乘
对
x
j
\mathbf x_j
x j
y
^
(
0
)
=
y
ˉ
1
\hat{\mathbf y}^{(0)}=\bar y\mathbf 1
y ^ ( 0 ) = y ˉ 1
x
j
(
0
)
=
x
j
,
j
=
1
,
…
,
p
\mathbf x_j^{(0)}=\mathbf x_j,\;j=1,\ldots,p
x j ( 0 ) = x j , j = 1 , … , p
对于
m
=
1
,
2
,
…
,
p
m=1,2,\ldots,p
m = 1 , 2 , … , p
z
m
=
∑
j
=
1
p
φ
^
m
j
x
j
(
m
−
1
)
\mathbf z_m=\sum_{j=1}^p\hat \varphi_{mj}\mathbf x_j^{(m-1)}
z m = ∑ j = 1 p φ ^ m j x j ( m − 1 )
φ
^
m
j
=
⟨
x
j
(
m
−
1
)
,
y
⟩
\hat \varphi_{mj}=\langle\mathbf x_j^{(m-1)},\mathbf y\rangle
φ ^ m j = ⟨ x j ( m − 1 ) , y ⟩
θ
^
m
=
⟨
z
m
,
y
⟩
/
⟨
z
m
,
z
m
⟩
\hat \theta_m=\langle \mathbf z_m, \mathbf y\rangle/\langle \mathbf z_m,\mathbf z_m\rangle
θ ^ m = ⟨ z m , y ⟩ / ⟨ z m , z m ⟩
y
^
(
m
)
=
y
^
(
m
−
1
)
+
θ
^
m
z
m
\hat{\mathbf y}^{(m)}=\hat{\mathbf y}^{(m-1)}+\hat\theta_m\mathbf z_m
y ^ ( m ) = y ^ ( m − 1 ) + θ ^ m z m 对每个
x
j
(
m
−
1
)
\mathbf x_j^{(m-1)}
x j ( m − 1 )
z
m
\mathbf z_m
z m
x
j
(
m
)
=
x
j
(
m
−
1
)
−
⟨
z
m
,
x
j
⟩
⟨
z
m
,
z
m
⟩
z
m
,
j
=
1
,
2
,
…
,
p
.
\mathbf x_j^{(m)}=\mathbf x_j^{(m-1)}-\dfrac{\langle \mathbf z_m,\mathbf x_j\rangle}{\langle \mathbf z_m,\mathbf z_m\rangle}\mathbf z_m,\; j=1,2,\ldots,p.
x j ( m ) = x j ( m − 1 ) − ⟨ z m , z m ⟩ ⟨ z m , x j ⟩ z m , j = 1 , 2 , … , p .
输出拟合向量序列
{
y
(
m
)
^
}
1
p
\{\hat{\mathbf y^{(m)}}\}^p_1
{ y ( m ) ^ } 1 p
{
z
ℓ
}
1
m
\{\mathbf z_\ell\}^m_1
{ z ℓ } 1 m
x
j
\mathbf x_j
x j
y
^
(
m
)
=
X
β
^
p
l
s
(
m
)
\hat {\mathbf y}^{(m)}=\mathbf X \hat \beta^{pls}(m)
y ^ ( m ) = X β ^ p l s ( m )
在前列腺癌的例子中，交叉验证在图 3.7 中选择
M
=
2
M=2
M = 2
偏最小二乘求解的是什么优化问题呢？因为它使用响应变量
y
\mathbf y
y
y
\mathbf y
y 练习 3.15 ）偏最小二乘寻找有高方差以及和响应变量有高相关性的方向，而与之相对的主成分分析回归只重视高方差（Stone and Brooks, 1990; Frank and Friedman, 1993）．特别地，第
m
m
m
v
m
v_m
v m
max
α
V
a
r
(
X
α
)
s
t
∥
α
∥
=
1
,
α
T
S
v
ℓ
=
0
,
ℓ
=
1
,
…
,
m
−
1
(3.63)
\begin{aligned}\max_{\alpha} &\rm{Var}(\mathbf X\alpha)\\\rm{st}&\Vert \alpha\Vert=1,\alpha^T\mathbf Sv_\ell=0,\;\ell=1,\ldots,m-1\end{aligned}\tag{3.63}
α max s t V a r ( X α ) ∥ α ∥ = 1 , α T S v ℓ = 0 , ℓ = 1 , … , m − 1 ( 3 . 6 3 )
其中，
S
\mathbf S
S
x
j
\mathbf x_j
x j
α
T
S
v
ℓ
=
0
\alpha^T\mathbf Sv_\ell=0
α T S v ℓ = 0
z
m
=
X
α
\mathbf z_m=\mathbf X\alpha
z m = X α
z
ℓ
=
v
ℓ
\mathbf z_\ell=\mathbf v_\ell
z ℓ = v ℓ
m
m
m
φ
^
m
\hat \varphi_m
φ ^ m
max
α
C
o
r
r
2
(
y
,
X
α
)
V
a
r
(
X
α
)
s
t
∥
α
∥
=
1
,
α
T
S
φ
^
ℓ
=
0
,
ℓ
=
1
,
…
,
m
−
1
(3.64)
\begin{aligned}\max_\alpha& \mathrm{Corr}^2(\mathbf y,\mathbf X\alpha)\rm{Var}(\mathbf X\alpha)\\\rm{st}& \Vert\alpha\Vert=1,\alpha^T\mathbf S\hat \varphi_\ell=0,\ell=1,\ldots,m-1\end{aligned}\tag{3.64}
α max s t C o r r 2 ( y , X α ) V a r ( X α ) ∥ α ∥ = 1 , α T S φ ^ ℓ = 0 , ℓ = 1 , … , m − 1 ( 3 . 6 4 )
进一步的分析揭示了，方差项趋向于占主导地位，而且因此偏最小二乘表现得很像岭回归和主成分回归．我们将在下一节讨论这些．
如果输入矩阵
X
\mathbf X
X
m
=
1
m=1
m = 1
m
>
1
时
，
φ
^
m
j
=
0
m >1\text{时}，\hat \varphi_{mj}=0
m > 1 时 ， φ ^ m j = 0 练习 3.14 ）．
也可以证明
m
=
1
,
2
,
…
,
p
m=1,2,\ldots,p
m = 1 , 2 , … , p 练习 3.18 ）．
regression tools (with discussion), Technometrics 35(2): 109–148.
主成分分析基本思想
这段概念基于特征值与特征向量 展开，主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。它是一个线性变换，这个变换把数据变换到一个新的坐标系统 中，使得任何数据投影的第一大方差在第一个坐标 (称为第一主成分)上，第二大方差在第二个坐标 (第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
对特征值与特征向量 博客的两个解读（该文解释的特征值与特征向量有助于理解主成分分析，值得详读）
对于BU的理解：实现了数据集在特征向量这组正交基上的投影，其实，这里的正交基就是用一组新的U来代替了原本的X，就像书中之前的公式讲的那样，是线性变换。注意U是对称阵，所以计算才make sense，才是投影。
对特征值的理解：参考这篇博客 。其实就是这个待分解的矩阵B，其作用于特征向量上不会改变特征向量的方向，所以特征向量和矩阵的本质有关，但是如果矩阵把特征向量进行线性变换后拉伸的值越大，那这个特征向量就越具备代表意义。
对于偏最小二乘的算法部分描述如下
算法 3.3 偏最小二乘
对
x
j
\mathbf x_j
x j
y
^
(
0
)
=
y
ˉ
1
\hat{\mathbf y}^{(0)}=\bar y\mathbf 1
y ^ ( 0 ) = y ˉ 1
x
j
(
0
)
=
x
j
,
j
=
1
,
…
,
p
\mathbf x_j^{(0)}=\mathbf x_j,\;j=1,\ldots,p
x j ( 0 ) = x j , j = 1 , … , p
对于
m
=
1
,
2
,
…
,
p
m=1,2,\ldots,p
m = 1 , 2 , … , p
z
m
=
∑
j
=
1
p
φ
^
m
j
x
j
(
m
−
1
)
\mathbf z_m=\sum_{j=1}^p\hat \varphi_{mj}\mathbf x_j^{(m-1)}
z m = ∑ j = 1 p φ ^ m j x j ( m − 1 )
φ
^
m
j
=
⟨
x
j
(
m
−
1
)
,
y
⟩
\hat \varphi_{mj}=\langle\mathbf x_j^{(m-1)},\mathbf y\rangle
φ ^ m j = ⟨ x j ( m − 1 ) , y ⟩
θ
^
m
=
⟨
z
m
,
y
⟩
/
⟨
z
m
,
z
m
⟩
\hat \theta_m=\langle \mathbf z_m, \mathbf y\rangle/\langle \mathbf z_m,\mathbf z_m\rangle
θ ^ m = ⟨ z m , y ⟩ / ⟨ z m , z m ⟩
y
^
(
m
)
=
y
^
(
m
−
1
)
+
θ
^
m
z
m
\hat{\mathbf y}^{(m)}=\hat{\mathbf y}^{(m-1)}+\hat\theta_m\mathbf z_m
y ^ ( m ) = y ^ ( m − 1 ) + θ ^ m z m 对每个
x
j
(
m
−
1
)
\mathbf x_j^{(m-1)}
x j ( m − 1 )
z
m
\mathbf z_m
z m
x
j
(
m
)
=
x
j
(
m
−
1
)
−
⟨
z
m
,
x
j
⟩
⟨
z
m
,
z
m
⟩
z
m
,
j
=
1
,
2
,
…
,
p
.
\mathbf x_j^{(m)}=\mathbf x_j^{(m-1)}-\dfrac{\langle \mathbf z_m,\mathbf x_j\rangle}{\langle \mathbf z_m,\mathbf z_m\rangle}\mathbf z_m,\; j=1,2,\ldots,p.
x j ( m ) = x j ( m − 1 ) − ⟨ z m , z m ⟩ ⟨ z m , x j ⟩ z m , j = 1 , 2 , … , p .
输出拟合向量序列
{
y
(
m
)
^
}
1
p
\{\hat{\mathbf y^{(m)}}\}^p_1
{ y ( m ) ^ } 1 p
{
z
ℓ
}
1
m
\{\mathbf z_\ell\}^m_1
{ z ℓ } 1 m
x
j
\mathbf x_j
x j
y
^
(
m
)
=
X
β
^
p
l
s
(
m
)
\hat {\mathbf y}^{(m)}=\mathbf X \hat \beta^{pls}(m)
y ^ ( m ) = X β ^ p l s ( m )
对于第二步的第一部分，其实这里的
x
j
\mathbf{x}_j
x j
y
\mathbf y
y
z
m
\mathbf{z}_m
z m
z
1
\mathbf{z}_1
z 1
对于第二步的第二部分，就是将y在该方向上进行回归，得到系数
θ
^
m
\hat \theta_m
θ ^ m
对于第二步的第三部分，就是把当前方向上的分量加进之前的预测向量中去，进一步接近
y
^
\hat {\mathbf y}
y ^
对于第二步的第四部分相当于对于每个
x
j
\mathbf{x}_j
x j
z
m
\mathbf{z}_m
z m
z
m
\mathbf z_m
z m
x
j
\mathbf{x}_j
x j
z
m
\mathbf{z}_m
z m
z
m
\mathbf{z}_m
z m ESL3.2 的图3.4。感性理解就是，
z
m
\mathbf z_m
z m
x
j
(
m
−
1
)
\mathbf x_j^{(m-1)}
x j ( m − 1 )
z
m
\mathbf z_m
z m
