这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站 上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。作者GitHub 上查看下载。
!!! note “更新笔记”
正如第二章介绍的那样，我们有输入向量
X
T
=
(
X
1
,
X
2
,
…
,
X
p
)
X^T=(X_1,X_2,\ldots,X_p)
X T = ( X 1 , X 2 , … , X p )
Y
Y
Y
f
(
X
)
=
β
0
+
∑
j
=
1
p
X
j
β
j
(3.1)
f(X)=\beta_0+\sum\limits_{j=1}^pX_j\beta_j \tag{3.1}
f ( X ) = β 0 + j = 1 ∑ p X j β j ( 3 . 1 )
线性模型 要么假设回归函数
E
(
Y
∣
X
)
\rm{E}(Y\mid X)
E ( Y ∣ X ) ，要么假设它本身是一个合理的近似．这里
β
j
\beta_j
β j
X
j
X_j
X j
定量的输入变量
定量输入变量的变换，比如对数变换，平方根变换或者平方变换
基函数展开，比如
X
2
=
X
1
2
,
X
3
=
X
1
3
X_2=X_1^2,X_3=X_1^3
X 2 = X 1 2 , X 3 = X 1 3
定性输入变量水平 (level) 的数值或“虚拟”编码．举个例子，如果
G
G
G
X
j
,
j
=
1
,
…
,
5
X_j,j=1,\ldots,5
X j , j = 1 , … , 5
X
j
=
I
(
G
=
j
)
X_j=I(G=j)
X j = I ( G = j )
X
j
X_j
X j
G
G
G
∑
j
=
1
5
X
j
β
j
\sum_{j=1}^5X_j\beta_j
∑ j = 1 5 X j β j
X
j
X_j
X j
变量的交叉影响，举个例子，
X
3
=
X
1
⋅
X
2
X_3=X_1\cdot X_2
X 3 = X 1 ⋅ X 2
无论
X
j
X_j
X j
一般地，我们有一个用来估计参数
β
\beta
β
(
x
1
,
y
1
)
,
…
,
(
x
N
,
y
N
)
(x_1,y_1),\ldots,(x_N,y_N)
( x 1 , y 1 ) , … , ( x N , y N )
x
i
=
(
x
i
1
,
x
i
2
,
…
,
x
i
p
)
T
x_i=(x_{i1},x_{i2},\ldots,x_{ip})^T
x i = ( x i 1 , x i 2 , … , x i p ) T
i
i
i 最小二乘 (least squares) ，我们取参数
β
=
(
β
0
,
β
1
,
…
,
β
p
)
T
\beta=(\beta_0,\beta_1,\ldots,\beta_p)^T
β = ( β 0 , β 1 , … , β p ) T
R
S
S
(
β
)
=
∑
i
=
1
N
(
y
i
−
f
(
x
i
)
)
2
=
∑
i
=
1
N
(
y
i
−
β
0
−
∑
j
=
1
p
x
i
j
β
j
)
2
(3.2)
\begin{aligned} \rm{RSS}(\beta)&=\sum\limits_{i=1}^N(y_i-f(x_i))^2\\ &=\sum\limits_{i=1}^N(y_i-\beta_0-\sum\limits_{j=1}^px_{ij}\beta_j)^2\tag{3.2} \end{aligned}
R S S ( β ) = i = 1 ∑ N ( y i − f ( x i ) ) 2 = i = 1 ∑ N ( y i − β 0 − j = 1 ∑ p x i j β j ) 2 ( 3 . 2 )
从统计学的观点来看，如果训练观测值
(
x
i
,
y
i
)
(x_i,y_i)
( x i , y i )
x
i
x_i
x i
x
i
x_i
x i
y
i
y_i
y i
(
X
,
Y
)
(X,Y)
( X , Y )
I
R
p
+
1
\rm{IR}^{p+1}
I R p + 1
(
3.2
)
(3.2)
( 3 . 2 ) 衡量了平均的拟合误差 ．
图 3.1
X
∈
R
2
X\in R^2
X ∈ R 2
X
X
X
Y
Y
Y
那我们应该怎样最小化
(
3.2
)
(3.2)
( 3 . 2 )
X
\mathbf{X}
X
N
×
(
p
+
1
)
N\times (p+1)
N × ( p + 1 )
y
\mathbf{y}
y
N
N
N
R
S
S
(
β
)
=
(
y
−
X
β
)
T
(
y
−
X
β
)
(3.3)
\rm{RSS}(\beta)=(\mathbf{y}-\mathbf{X}\beta)^T(\mathbf{y}-\mathbf{X}\beta)\tag{3.3}
R S S ( β ) = ( y − X β ) T ( y − X β ) ( 3 . 3 )
扫描二维码关注公众号，回复：
9715226 查看本文章
这是含
p
+
1
p+1
p + 1
β
\beta
β
∂
R
S
S
∂
β
=
−
2
X
T
(
y
−
X
β
)
∂
2
R
S
S
∂
β
∂
β
T
=
2
X
T
X
(3.4)
\begin{array}{ll} \dfrac{\partial \rm{RSS}}{\partial \beta}&=-2\mathbf{X}^T(\mathbf{y}-\mathbf{X}\beta)\\ \dfrac{\partial^2 \rm{RSS}}{\partial \beta\partial \beta^T}&=2\mathbf{X}^T\mathbf{X} \end{array} \tag{3.4}
∂ β ∂ R S S ∂ β ∂ β T ∂ 2 R S S = − 2 X T ( y − X β ) = 2 X T X ( 3 . 4 )
假设
X
\mathbf{X}
X
X
T
X
\mathbf{X}^T\mathbf{X}
X T X
X
T
(
y
−
X
β
)
=
0
(3.5)
\mathbf{X}^T(\mathbf{y}-\mathbf{X}\beta)=0\tag{3.5}
X T ( y − X β ) = 0 ( 3 . 5 )
得到唯一解
β
^
=
(
X
T
X
)
−
1
X
T
y
(3.6)
\hat{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}\tag{3.6}
β ^ = ( X T X ) − 1 X T y ( 3 . 6 )
在输入向量
x
0
x_0
x 0
f
^
(
x
0
)
=
(
1
:
x
0
)
T
β
^
\hat{f}(x_0)=(1:x_0)^T\hat{\beta}
f ^ ( x 0 ) = ( 1 : x 0 ) T β ^
y
^
=
X
β
^
=
X
(
X
T
X
)
−
1
X
T
y
(3.7)
\hat{y}=\mathbf{X}\hat{\beta}=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}\tag{3.7}
y ^ = X β ^ = X ( X T X ) − 1 X T y ( 3 . 7 )
其中，
y
^
i
=
f
^
(
x
i
)
\hat y_i=\hat f(x_i)
y ^ i = f ^ ( x i )
(
3.7
)
(3.7)
( 3 . 7 )
H
=
X
(
X
T
X
)
−
1
X
T
\mathbf{H=X(X^TX)^{-1}X^T}
H = X ( X T X ) − 1 X T
y
\mathbf y
y
【Hytn注：这里的
β
^
\hat \beta
β ^
β
^
\hat \beta
β ^
β
^
\hat \beta
β ^
X
\rm{X}
X
y
^
\hat y
y ^
图 3.2 含两个预测的最小二乘回归的
N
N
N
y
\mathbf{y}
y
x
1
\mathbf{x}_1
x 1
x
2
\mathbf{x}_2
x 2
y
^
\hat{\mathbf{y}}
y ^
图 3.2 展示了在
I
R
N
\rm{IR}^N
I R N
X
\mathbf{X}
X
x
0
,
x
1
,
…
,
x
p
\rm{x}_0,\rm{x}_1,\ldots,\rm{x}_p
x 0 , x 1 , … , x p
x
0
≡
1
\rm{x}_0 \equiv \rm{1}
x 0 ≡ 1
I
R
N
\rm{IR}^N
I R N
X
\mathbf{X}
X
β
^
\hat{\beta}
β ^
R
S
S
(
β
)
=
∥
(
y
−
X
β
)
∥
2
\rm{RSS}(\beta)=\lVert(\mathbf{y}-\mathbf{X}\beta)\rVert^2
R S S ( β ) = ∥ ( y − X β ) ∥ 2 残差向量
y
−
y
^
\mathbf{y-\hat{y}}
y − y ^ ．
(
3.5
)
(3.5)
( 3 . 5 )
y
^
\hat{\rm{y}}
y ^
y
\mathbf{y}
y
H
\mathbf{H}
H
可能会出现
X
\mathbf{X}
X
X
\mathbf{X}
X
x
2
=
3
x
1
x_2=3x_1
x 2 = 3 x 1
X
T
X
\mathbf{X^TX}
X T X
β
^
\hat{\beta}
β ^
y
^
=
X
β
^
\mathbf{\hat{y}}=\mathbf{X}\hat{\beta}
y ^ = X β ^
y
\mathbf{y}
y
X
\mathbf{X}
X
X
\mathbf{X}
X
X
\mathbf{X}
X
p
p
p
N
N
N 5.2.3节 和第 18 章）
截至目前我们已经对数据的真实分布做的假设非常少．为了约束
β
^
\hat{\beta}
β ^
y
i
y_i
y i
σ
2
\sigma^2
σ 2
x
i
x_i
x i
(
3.6
)
(3.6)
( 3 . 6 )
V
a
r
(
β
^
)
=
(
X
T
X
)
−
1
σ
2
(3.8)
\rm{Var}(\hat{\beta})=(\mathbf{X}^T\mathbf{X})^{-1}\sigma^2\tag{3.8}
V a r ( β ^ ) = ( X T X ) − 1 σ 2 ( 3 . 8 )
一般通过下式来估计方差
σ
2
\sigma^2
σ 2
σ
^
2
=
1
N
−
p
−
1
∑
i
=
1
N
(
y
i
−
y
^
i
)
2
\hat{\sigma}^2=\frac{1}{N-p-1}\sum\limits_{i=1}^N(y_i-\hat{y}_i)^2
σ ^ 2 = N − p − 1 1 i = 1 ∑ N ( y i − y ^ i ) 2
之所以分母是
N
−
p
−
1
N-p-1
N − p − 1
N
N
N
N
−
p
−
1
N-p-1
N − p − 1
σ
^
2
\hat{\sigma}^2
σ ^ 2
E
(
σ
^
2
)
=
σ
2
E(\hat{\sigma}^2)=\sigma^2
E ( σ ^ 2 ) = σ 2
为了对参数和模型进行推断，需要一些额外的假设．我们现在假设式
(
3.1
)
(3.1)
( 3 . 1 )
Y
Y
Y
X
1
,
X
2
,
…
,
X
p
X_1,X_2,\ldots,X_p
X 1 , X 2 , … , X p
Y
Y
Y
Y
=
E
(
Y
∣
X
1
,
…
,
X
p
)
+
ε
=
β
0
+
∑
j
=
1
p
X
j
β
j
+
ε
(3.9)
\begin{aligned} Y&=\rm{E}(Y\mid X_1,\ldots,X_p)+\varepsilon\\ &=\beta_0+\sum\limits_{j=1}^pX_j\beta_j+\varepsilon\tag{3.9} \end{aligned}
Y = E ( Y ∣ X 1 , … , X p ) + ε = β 0 + j = 1 ∑ p X j β j + ε ( 3 . 9 )
其中误差
ϵ
\epsilon
ϵ
σ
2
\sigma^2
σ 2
ε
∼
N
(
0
,
σ
2
)
\varepsilon\sim N(0,\sigma^2)
ε ∼ N ( 0 , σ 2 )
由式
(
3.9
)
(3.9)
( 3 . 9 )
β
^
∼
N
(
β
,
(
X
T
X
)
−
1
σ
2
)
(3.10)
\hat{\beta}\sim N(\beta,(\mathbf{X}^T\mathbf{X})^{-1}\sigma^2) \tag{3.10}
β ^ ∼ N ( β , ( X T X ) − 1 σ 2 ) ( 3 . 1 0 )
对于参数
β
^
\hat \beta
β ^
首先式(3.8)证明过程如下：
β
^
=
(
X
T
X
)
−
1
X
T
(
X
β
+
ϵ
)
=
(
X
T
X
)
−
1
X
T
X
β
+
(
X
T
X
)
−
1
X
T
ϵ
=
β
+
(
X
T
X
)
−
1
X
T
ϵ
\begin{aligned}\hat{\beta} &=\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}(X \beta+\epsilon) \\&=\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbf{X} \beta+\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \epsilon \\&=\beta+\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \epsilon\end{aligned}
β ^ = ( X T X ) − 1 X T ( X β + ϵ ) = ( X T X ) − 1 X T X β + ( X T X ) − 1 X T ϵ = β + ( X T X ) − 1 X T ϵ
ϵ
\epsilon
ϵ
σ
2
\sigma^2
σ 2
ε
∼
N
(
0
,
σ
2
)
\varepsilon\sim N(0,\sigma^2)
ε ∼ N ( 0 , σ 2 )
E
[
β
^
]
=
β
+
(
X
T
X
)
−
1
X
T
0
=
β
\begin{aligned} E[\hat{\beta}] &=\beta+\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbf{0} \\ &=\beta \end{aligned}
E [ β ^ ] = β + ( X T X ) − 1 X T 0 = β
β
^
∼
N
(
β
,
(
X
T
X
)
−
1
X
T
σ
2
)
\hat{\beta} \sim N\left(\beta,\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \sigma^{2}\right)
β ^ ∼ N ( β , ( X T X ) − 1 X T σ 2 )
而对于方差的证明有两条路，第一条如下：
Var
(
β
^
)
=
(
X
T
X
)
−
1
X
T
X
(
X
T
X
)
−
1
σ
2
=
(
X
T
X
)
−
1
σ
2
⇒
β
^
∼
N
(
β
,
(
X
T
X
)
−
1
σ
2
)
\begin{aligned} \operatorname{Var}(\hat{\beta}) &=\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \sigma^{2} \\ &=\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \sigma^{2} \\ \Rightarrow & \hat{\beta} \sim N\left(\beta,\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \sigma^{2}\right) \end{aligned}
V a r ( β ^ ) ⇒ = ( X T X ) − 1 X T X ( X T X ) − 1 σ 2 = ( X T X ) − 1 σ 2 β ^ ∼ N ( β , ( X T X ) − 1 σ 2 )
V
a
r
(
β
^
)
=
E
(
β
^
2
)
−
[
E
(
β
^
)
]
2
\rm{Var}(\hat \beta) = \rm{E}({\hat \beta}^2) - [\rm{E}(\hat \beta)]^2
V a r ( β ^ ) = E ( β ^ 2 ) − [ E ( β ^ ) ] 2
其中
β
^
2
\hat \beta^2
β ^ 2
β
^
2
=
β
2
+
2
(
X
T
X
)
−
1
X
T
ϵ
β
+
(
X
T
X
)
−
1
ϵ
2
\hat \beta^2 = \beta^2 + 2(X^TX)^{-1}X^T\epsilon\beta + (X^TX)^{-1}\epsilon^2
β ^ 2 = β 2 + 2 ( X T X ) − 1 X T ϵ β + ( X T X ) − 1 ϵ 2
其中第二项的期望为0，第三项的期望是
(
X
T
X
)
−
1
σ
2
(X^TX)^{-1}\sigma^2
( X T X ) − 1 σ 2
卡方分布，n个服从标准正态分布的随机变量的平方和构成新的随机变量，这个随机变量的分布规律称为卡方分布。下文就使用卡方分布来检验统计量，比较期望结果和实际结果之间的差别，学者Wang CS在其博客 中对卡方分布进行了具体描述，表明了这个检验统计量提供了一种期望值与观察值之间差异的度量方法，最后反映在
χ
2
\chi^2
χ 2
那么对于这个数值，究竟大到什么程度差异才算显著？这里摘录博客中的描述：
需要根据自由度，设定的显著性水平查找卡方分布表判定，就是根据三要素：一个公式，一张分布表，一张概率密度图。
具体的卡方分布计算实例在博客中也有例举，更加详细的实例和讲解在这篇名为t分布, 卡方x分布，F分布 的博客中也有例举，在此不进行展开。
这是一个有上述均值向量和方差-协方差矩阵的多元正态分布．同时有
(
N
−
p
−
1
)
σ
^
2
∼
σ
2
χ
N
−
p
−
1
2
(3.11)
(N-p-1)\hat \sigma^2\sim \sigma^2\chi^2_{N-p-1}\tag{3.11}
( N − p − 1 ) σ ^ 2 ∼ σ 2 χ N − p − 1 2 ( 3 . 1 1 )
是一个自由度为
N
−
p
−
1
N-p-1
N − p − 1
β
^
\hat{\beta}
β ^
σ
^
2
\hat\sigma^2
σ ^ 2
β
j
\beta_j
β j
图 3.3
t
30
t_{30}
t 3 0
t
100
t_{100}
t 1 0 0
Pr
(
∣
Z
∣
>
z
)
\Pr(|Z|>z)
Pr ( ∣ Z ∣ > z )
p
=
0.05
p=0.05
p = 0 . 0 5
0.01
0.01
0 . 0 1
N
N
N
t
t
t
为了检验系数
β
j
\beta_j
β j
z
j
=
β
^
j
σ
^
v
j
(3.12)
z_j=\dfrac{\hat{\beta}_j}{\hat{\sigma}\sqrt{v_j}}\tag{3.12}
z j = σ ^ v j
β ^ j ( 3 . 1 2 )
其中
v
j
v_j
v j
(
X
T
X
)
−
1
(\mathbf{X}^T\mathbf{X})^{-1}
( X T X ) − 1
j
j
j
β
j
=
0
\beta_j=0
β j = 0
z
j
z_j
z j
t
N
−
p
−
1
t_{N-p-1}
t N − p − 1
N
−
p
−
1
N-p-1
N − p − 1
t
t
t
z
j
z_j
z j
σ
\sigma
σ
σ
^
\hat{\sigma}
σ ^
z
j
z_j
z j
t
t
t
（Hytn注：卡方分布自由度的计算分为两种情况，第一种：拟合优度检验 。就是如果式子中包含n个独立的随机变量，和由它们所构成的k个样本统计量，则该表达式的自由度为n-k。比如统计量是n个随机变量的平均数，统计量只有一个，因此自由度为n-1。第二种：两个变量的独立性检验 。若列联表为h行k列，则自由度=(h-1) x (k-1)）
我们经常需要同时检验多个系数 (groups of coefficients) 的显著性．举个例子，检验有
k
k
k
F
F
F
F
=
(
R
S
S
0
−
R
S
S
1
)
/
(
p
1
−
p
0
)
R
S
S
1
/
(
N
−
p
1
−
1
)
(3.13)
F=\dfrac{(\rm{RSS}_0-\rm{RSS}_1)/(p_1-p_0)}{\rm{RSS}_1/(N-p_1-1)}\tag{3.13}
F = R S S 1 / ( N − p 1 − 1 ) ( R S S 0 − R S S 1 ) / ( p 1 − p 0 ) ( 3 . 1 3 )
其中
R
S
S
1
\rm{RSS}_1
R S S 1
p
1
+
1
p_1+1
p 1 + 1
R
S
S
0
\rm{RSS}_0
R S S 0
p
0
+
1
p_0+1
p 0 + 1
p
1
−
p
0
p_1-p_0
p 1 − p 0
F
F
F
σ
2
\sigma^2
σ 2
F
F
F
F
p
1
−
p
0
,
N
−
p
1
−
1
F_{p_1-p_0,N-p_1-1}
F p 1 − p 0 , N − p 1 − 1
(
3.12
)
(3.12)
( 3 . 1 2 )
z
j
z_j
z j
β
j
\beta_j
β j
F
F
F 习题 3.1 ），当
N
N
N
F
p
1
−
p
0
,
N
−
p
1
−
1
F_{p_1-p_0,N-p_1-1}
F p 1 − p 0 , N − p 1 − 1
χ
p
1
−
p
0
2
\chi^2_{p_1-p_0}
χ p 1 − p 0 2
!!! info “weiya 注：Ex. 3.1”Issue 69: Ex. 3.1 ．
!!! note “weiya 注”pwr 包来进行 power analysis．对于线性模型（比如多重回归），pwr.f2.test(u=, v=, f2=, sig.level=, power=) 可以用来进行 power analysis，其中 u 和 v 分别是分子和分母的自由度，f2 是 有效大小 (effect size) ．f2 计算公式为，
f
2
=
R
2
1
−
R
2
,
f^2 = \frac{R^2}{1-R^2}\,,
f 2 = 1 − R 2 R 2 ,
f
2
=
R
A
B
2
−
R
A
2
1
−
R
A
B
2
,
f^2 = \frac{R^2_{AB}-R^2_A}{1-R_{AB}^2}\,,
f 2 = 1 − R A B 2 R A B 2 − R A 2 ,
R
A
2
R_A^2
R A 2
A
A
A
R
A
B
2
R_{AB}^2
R A B 2
A
A
A
B
B
B
这里举一个实际例子来说明如何在线性回归模型中进行 power analysis．
假设我们要研究老板的领导风格对公司员工满意度的影响，同时员工满意度还与薪酬有关，其中薪酬用 3 个变量来衡量，而老板领导风格用 4 个变量来衡量．根据以往经验，薪酬能够解释员工满意度方差的 30%，现在问题是确定多少的调查个体，使得显著度为 .05，而且 power 为 .90．求解代码为`pwr.f2.test(u=3, f2=(.35-.30)/(1-.35), sig.level=0.05, power=0.90)`，输出`v=184.2426`．
其中`u`和`v`分别被称为分子、分母自由度．结合 \eqref{3.13} 式，我们可以看出 $p_1-p_0=u, N-p_1-1=v$，并且这里 $p_0=4, p_1=7$．换个角度看，其实式 \eqref{3.13} 就是用于 power analysis 的检验统计量，原假设为可以将领导力水平的四个变量系数设为 0，若 $F$ 足够大，则会拒绝原假设．
类似地，我们可以分离式
(
3.10
)
(3.10)
( 3 . 1 0 )
β
j
\beta_j
β j
β
j
\beta_j
β j
1
−
2
α
1-2\alpha
1 − 2 α
(
β
^
j
−
z
1
−
α
v
j
1
/
2
σ
^
,
β
^
j
+
z
1
−
α
v
j
1
/
2
σ
^
)
(3.14)
(\hat{\beta}_j-z^{1-\alpha}v_j^{1/2}\hat{\sigma},\hat{\beta}_j+z^{1-\alpha}v_j^{1/2}\hat{\sigma})\tag{3.14}
( β ^ j − z 1 − α v j 1 / 2 σ ^ , β ^ j + z 1 − α v j 1 / 2 σ ^ ) ( 3 . 1 4 )
这里，
z
1
−
α
z^{1-\alpha}
z 1 − α
1
−
α
1-\alpha
1 − α
z
1
−
0.025
=
1.96
,
z
1
−
0.05
=
1.645
,
e
t
c
.
\begin{aligned} z^{1-0.025}&=1.96,\\ z^{1-0.05}&=1.645,etc. \end{aligned}
z 1 − 0 . 0 2 5 z 1 − 0 . 0 5 = 1 . 9 6 , = 1 . 6 4 5 , e t c .
因此报告
β
^
±
2
⋅
s
e
(
β
^
)
\hat{\beta}\pm 2\cdot se(\hat{\beta})
β ^ ± 2 ⋅ s e ( β ^ )
95
%
95\%
9 5 %
N
∼
∞
N\sim \infty
N ∼ ∞
1
−
2
α
1-2\alpha
1 − 2 α
运用类似的方法我们可以得到全体系数向量
β
\beta
β
C
β
=
{
β
∣
(
(
β
^
−
β
)
T
X
T
X
(
β
^
−
β
)
≤
σ
^
2
χ
p
+
1
2
(
1
−
α
)
}
(3.15)
C_{\beta} = \{\beta \mid ((\hat{\beta}-\beta)^T\mathbf{X^TX}(\hat{\beta}-\beta)\le \hat{\sigma}^2\chi^{2^{(1-\alpha)}}_{p+1} \}\tag{3.15}
C β = { β ∣ ( ( β ^ − β ) T X T X ( β ^ − β ) ≤ σ ^ 2 χ p + 1 2 ( 1 − α ) } ( 3 . 1 5 )
其中，
χ
ℓ
2
(
1
−
α
)
\chi_\ell^{2^{(1-\alpha)}}
χ ℓ 2 ( 1 − α )
ℓ
\ell
ℓ
1
−
α
1-\alpha
1 − α
χ
2
(
1
−
0.05
)
_
5
=
11.1
,
χ
2
(
1
−
0.1
)
_
5
=
9.2
\chi^{2^{(1-0.05)}}\_5=11.1,\chi^{2^{(1-0.1)}}\_5=9.2
χ 2 ( 1 − 0 . 0 5 ) _ 5 = 1 1 . 1 , χ 2 ( 1 − 0 . 1 ) _ 5 = 9 . 2
β
\beta
β
f
(
x
)
=
x
T
β
f(x)=x^T\beta
f ( x ) = x T β
x
T
β
∣
β
∈
C
β
\\{x^T\beta\mid \beta \in C_\beta\\}
x T β ∣ β ∈ C β 练习 3.2 ；并见 5.2.2 节中函数置信带的例子图 5.4）
!!! info “weiya 注：Ex. 3.2”Issue 120: Ex. 3.2 ．
这个例子的数据来自 Stamey et al. (1989)[^1]．他们检验即将接受彻底前列腺切除术的男性的前列腺特定抗原水平和一系列临床措施之间的相关性．变量有癌体积的对数值 (lcavol)、前列腺重量的对数值 (lweight)、良性前列腺增生数量 (lbph)、精囊浸润 (svi)、包膜浸透的对数值 (lcp)、Gleason 得分 (gleason)、Gleason 得分为 4 或 5 的比例 (pgg45)．表 3.1 中给出的预测变量的相关性矩阵显示了很多强相关性．第 1 章的图 1.1 是散点图矩阵，显示了变量两两间的图象．我们看到 svi 是二进制变量，gleason 是有序分类变量．举个例子，我们看到 lcavol 和 lcp 都与响应变量 lpsa 有强的相关性．我们需要联合拟合这些影响来解开预测变量和响应变量之间的关系．
表 3.1 前列腺癌数据中预测变量的相关系数；表 3.2 前列腺癌数据的线性模型拟合．
Z
Z
Z
Z
Z
Z
p
=
0.05
p=0.05
p = 0 . 0 5
我们对前列腺特定抗原的对数值 lpsa 和经过一次标准化有单位方差的预测变量进行线性模型拟合．我们随机将数据集分离得到规模为 67 的训练集以及规模为 30 的测试集．我们对训练集应用最小二乘估计得到表 3.2 中的估计值、标准误差以及
Z
Z
Z
Z
Z
Z
5
%
5\%
5 %
Z
Z
Z
t
67
−
9
t_{67-9}
t 6 7 − 9
±
2.002
\pm 2.002
± 2 . 0 0 2 lcavol 显示了最强的影响，lweight 和 svi 的影响同样显著．注意到一旦 lcavol 在模型中，lcp 便不显著（当使用一个没有 lcavol 的模型，lcp 是强显著的）．我们也可以用
F
F
F age，lcp，gleason 以及 pgg45．我们得到
F
=
(
32.81
−
29.43
)
/
(
9
−
5
)
29.43
/
(
67
−
9
)
=
1.67
(3.16)
F=\dfrac{(32.81-29.43)/(9-5)}{29.43/(67-9)}=1.67\tag{3.16}
F = 2 9 . 4 3 / ( 6 7 − 9 ) ( 3 2 . 8 1 − 2 9 . 4 3 ) / ( 9 − 5 ) = 1 . 6 7 ( 3 . 1 6 )
其中，
p
p
p
Pr
(
F
4
,
58
>
1.67
)
=
0.17
\Pr(F_{4,58}>1.67)=0.17
Pr ( F 4 , 5 8 > 1 . 6 7 ) = 0 . 1 7
测试数据的平均预测误差为 0.521．相反地，使用 lpsa 训练数据的平均值预测的测试误差为 1.057，称作“基本误差阶”．因此线性模型将基本误差阶降低了大概
50
%
50\%
5 0 %
统计学中一个很有名的结论称参数
β
\beta
β 最小二乘估计 在所有的线性无偏估计 中有最小的方差 ．我们将要严谨地说明这一点，并且说明约束为无偏估计不是明智的选择．这个结论导致我们考虑本章中像岭回归的有偏估计．我们考虑任意参数
θ
=
a
T
β
\theta = a^T\beta
θ = a T β
f
(
x
0
)
=
x
0
T
β
f(x_0)=x_0^T\beta
f ( x 0 ) = x 0 T β
a
T
β
a^T\beta
a T β
θ
^
=
a
T
β
^
=
a
T
(
X
T
X
)
−
1
X
T
y
(3.17)
\hat{\theta}=a^T\hat{\beta}=a^T\mathbf{(X^TX)^{-1}X^Ty}\tag{3.17}
θ ^ = a T β ^ = a T ( X T X ) − 1 X T y ( 3 . 1 7 )
考虑固定
X
\mathbf{X}
X
y
\mathbf{y}
y
c
0
T
y
\mathbf{c}_0^T\mathbf{y}
c 0 T y
a
T
β
^
a^T\hat{\beta}
a T β ^
E
(
a
T
β
^
)
=
E
(
a
T
(
X
T
X
)
−
1
X
T
y
)
=
a
T
(
X
T
X
)
−
1
X
T
X
β
=
a
T
β
(3.18)
\begin{aligned} \rm{E}(a^T\hat{\beta})&=E(a^T\mathbf{(X^TX)^{-1}X^Ty})\\ &=a^T\mathbf{(X^TX)^{-1}X^TX}\beta\\ &=a^T\beta\tag{3.18} \end{aligned}
E ( a T β ^ ) = E ( a T ( X T X ) − 1 X T y ) = a T ( X T X ) − 1 X T X β = a T β ( 3 . 1 8 )
Gauss-Markov 定理说如果
a
T
β
a^T\beta
a T β
θ
~
=
c
T
y
\tilde{\theta}=\mathbf{c}^T\mathbf{y}
θ ~ = c T y
E
(
c
T
y
)
=
a
T
β
\rm{E}(\mathbf{c}^T\mathbf{y})=a^T\beta
E ( c T y ) = a T β
V
a
r
(
a
T
β
^
)
≤
V
a
r
(
c
T
y
)
(3.19)
Var(a^T\hat{\beta})\le Var(\mathbf{c}^T\mathbf{y})\tag{3.19}
V a r ( a T β ^ ) ≤ V a r ( c T y ) ( 3 . 1 9 )
该证明（习题3.3a ）运用三角不等式．为了简化我们已经用单个参数
a
T
β
a^T\beta
a T β 习题3.3b 中的定义，则可以用整个参数向量
β
\beta
β
!!! note “weiya注：Ex. 3.3”Issue 70: Ex. 3.3
考虑
θ
\theta
θ
θ
~
\tilde{\theta}
θ ~
M
S
E
(
θ
~
)
=
E
(
θ
~
−
θ
)
2
=
V
a
r
(
θ
~
)
+
[
E
(
θ
~
)
−
θ
]
2
(3.20)
\begin{aligned} \rm{MSE}(\tilde{\theta})&=\rm{E}(\tilde{\theta}-\theta)^2\\ &=\rm{Var}(\tilde{\theta})+[\rm{E}(\tilde{\theta})-\theta]^2\tag{3.20} \end{aligned}
M S E ( θ ~ ) = E ( θ ~ − θ ) 2 = V a r ( θ ~ ) + [ E ( θ ~ ) − θ ] 2 ( 3 . 2 0 )
第一项为方差，第二项为平方偏差．Gauss-Markov 定理表明最小二乘估计在所有无偏线性估计中有最小的均方误差．然而，或许存在有较小均方误差的有偏估计．这样的估计用小的偏差来换取方差大幅度的降低 ．实际中也会经常使用有偏估计．任何收缩或者将最小二乘的一些参数设为 0 的方法都可能导致有偏估计．我们将在这章的后半部分讨论许多例子，包括 变量子集选择 和 岭回归 ．从一个更加实际的观点来看，许多模型是对事实的曲解，因此是有偏的；挑选一个合适的模型意味着要在偏差和方差之间创造某种良好的平衡．我们将在第 7 章中详细讨论这些问题．
正如在第 2 章中讨论的那样，均方误差与预测的正确性紧密相关．考虑在输入
x
0
x_0
x 0
Y
0
=
f
(
x
0
)
+
ε
0
(3.21)
Y_0=f(x_0)+\varepsilon_0 \tag{3.21}
Y 0 = f ( x 0 ) + ε 0 ( 3 . 2 1 )
其估计量
f
~
(
x
0
)
=
x
0
T
β
~
\tilde{f}(x_0)=x_0^T\tilde{\beta}
f ~ ( x 0 ) = x 0 T β ~
E
(
Y
0
−
f
~
(
x
0
)
)
2
=
σ
2
+
E
(
x
0
T
β
~
−
f
(
x
0
)
)
2
=
σ
2
+
M
S
E
(
f
~
(
x
0
)
)
(3.22)
\begin{aligned} \rm{E}(Y_0-\tilde{f}(x_0))^2 &=\sigma^2+E(x_0^T\tilde{\beta}-f(x_0))^2\\ &= \sigma^2+MSE(\tilde{f}(x_0))\tag{3.22} \end{aligned}
E ( Y 0 − f ~ ( x 0 ) ) 2 = σ 2 + E ( x 0 T β ~ − f ( x 0 ) ) 2 = σ 2 + M S E ( f ~ ( x 0 ) ) ( 3 . 2 2 )
因此，预测误差的估计值和均方误差只有常数值
σ
2
\sigma^2
σ 2
σ
2
\sigma^2
σ 2
y
0
y_0
y 0
