偏最小二乘回归分析

在实际问题中，要研究两组多重相关变量间的相互依赖关系时，可使用的方法有：经典多元线性回归分析（MLR）、主成分回归分析（PCR）、偏最小二乘回归分析（PLS）。
当两组变量的个数很多，且都存在多重相关性，而观测的样本数又较少时，用PLS建立模型具有MLR等方法所没有的优点。
PLS在建模的过程中集中了主成分分析、典型相关分析、线性回归分析方法的特点，除了能提供一个合理的回归模型外，还可以提供一些更深入的信息。

1. 偏最小二乘回归分析概述

假定p个因变量$y_1,\cdots ,y_p$与m个自变量$x_1,\cdots ,x_m$均为标准化变量。自变量组合因变量组的标准化观测数据矩阵分别为${\mathbf{A}}^{n\times m},{\mathbf{B}}^{n\times p}$，偏最小二乘回归分析建模的具体步骤如下：

1. 分别提取两变量组的第一对成分$u_1,v_1$，代表自变量和因变量的线性组合$$u_1={\mathbf{\rho }}^{(1)\mathbf{T}}\mathbf{X},v_1={\mathbf{\gamma }}^{(1)\mathbf{T}}\mathbf{Y}$$为了回归分析的需要，要求：① $u_1$和$v_1$各自尽可能多地提取所在变量组的变异信息；② $u_1$和$v_1$的相关程度达到最大。
   由两组变量集的标准化观测数据矩阵$\mathbf{A}$和$\mathbf{B}$，可以计算第一对成分的得分向量，记为${\hat{\mathbf{u}}}_1$和${\hat{\mathbf{v}}}_1$$${\hat{\mathbf{u}}}_1=\mathbf{A}{\mathbf{\rho }}^{(1)},{\hat{\mathbf{v}}}_1=\mathbf{B}{\mathbf{\gamma }}^{(1)}$$此时可将以上两个要求化为数学上的条件极值问题$$\begin{gathered} \max ({\hat{\mathbf{u}}}_1\cdot {\hat{\mathbf{v}}}_1)={\mathbf{\rho }}^{(1)\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{B}{\mathbf{\gamma }}^{(1)} \\ \text{s.t.}\{\begin{array}{l}{\mathbf{\rho }}^{(1)\mathbf{T}}{\mathbf{\rho }}^{(1)}=||{\mathbf{\rho }}^{(1)}|{|}^2=1\\ {\mathbf{\gamma }}^{(1)\mathbf{T}}{\mathbf{\gamma }}^{(1)}=||{\mathbf{\gamma }}^{(1)}|{|}^2=1\end{array} \end{gathered}$$利用拉格朗日乘数法，将问题转为计算矩阵$\mathbf{M}={\mathbf{A}}^{\mathbf{T}}\mathbf{B}{\mathbf{B}}^{\mathbf{T}}\mathbf{A}$的特征值和特征向量，其中最大特征值对应的单位特征向量就是${\mathbf{\rho }}^{(1)}$，且有${\mathbf{\gamma }}^{(1)}=\frac{1}{{\lambda }_1}{\mathbf{B}}^{\mathbf{T}}\mathbf{A}{\mathbf{\rho }}^{(1)}$。
2. 建立$y_1,\cdots ,y_p$对$u_1$的回归，及$x_1,\cdots ,x_m$对$u_1$的回归。假定回归模型为$$\{\begin{array}{l}\mathbf{A}={\hat{\mathbf{u}}}_1{\mathbf{\sigma }}^{(1)\mathbf{T}}+{\mathbf{A}}_1\\ \mathbf{B}={\hat{\mathbf{u}}}_1{\mathbf{\tau }}^{(1)\mathbf{T}}+{\mathbf{B}}_1\end{array}$$式中${\mathbf{\sigma }}^{(1)}=[{\sigma }_{11},\cdots ,{\sigma }_{1m}{]}^T,{\mathbf{\tau }}^{(1)}=[{\tau }_{11},\cdots ,{\tau }_{1p}{]}^T$分别为多对一的回归模型中的参数向量；${\mathbf{A}}_1,{\mathbf{B}}_1$是残差阵。则回归系数向量${\mathbf{\sigma }}^{(1)},{\mathbf{\tau }}^{(1)}$的最小二乘估计为$$\{\begin{array}{l}{\mathbf{\sigma }}^{(1)}={\mathbf{A}}^{\mathbf{T}}{\hat{\mathbf{u}}}_1/||{\hat{\mathbf{u}}}_1|{|}^2\\ {\mathbf{\tau }}^{(1)}={\mathbf{B}}^{\mathbf{T}}{\hat{\mathbf{u}}}_1/||{\hat{\mathbf{u}}}_1|{|}^2\end{array}$$称${\mathbf{\sigma }}^{(1)},{\mathbf{\tau }}^{(1)}$为模型效应负荷量。
3. 若残差阵${\mathbf{B}}_1$中元素的绝对值近似为0，则认为用第一个成分建立的回归式精度已经满足需要了，可以停止抽取成分。否则用残差阵${\mathbf{A}}_1,{\mathbf{B}}_1$代替$\mathbf{A},\mathbf{B}$，重复以上步骤。得$$\{\begin{array}{l}\mathbf{A}={\hat{\mathbf{u}}}_1{\mathbf{\sigma }}^{(1)\mathbf{T}}+{\hat{\mathbf{u}}}_2{\mathbf{\sigma }}^{(2)\mathbf{T}}+{\mathbf{A}}_2\\ \mathbf{B}={\hat{\mathbf{u}}}_1{\mathbf{\tau }}^{(1)\mathbf{T}}+{\hat{\mathbf{u}}}_2{\mathbf{\tau }}^{(2)\mathbf{T}}+{\mathbf{B}}_2\end{array}$$
4. 设$n\times m$数据阵$\mathbf{A}$的秩为$r⩽\min (n-1,m)$，则存在r个成分$u_1,\cdots ,u_r$，使得$$\{\begin{array}{l}\mathbf{A}={\hat{\mathbf{u}}}_1{\mathbf{\sigma }}^{(1)\mathbf{T}}+\cdots +{\hat{\mathbf{u}}}_{\mathbf{r}}{\mathbf{\sigma }}^{(\mathbf{r})\mathbf{T}}+{\mathbf{A}}_{\mathbf{r}}\\ \mathbf{B}={\hat{\mathbf{u}}}_1{\mathbf{\tau }}^{(1)\mathbf{T}}+\cdots +{\hat{\mathbf{u}}}_{\mathbf{r}}{\mathbf{\tau }}^{(\mathbf{r})\mathbf{T}}+{\mathbf{B}}_{\mathbf{r}}\end{array}$$将$u\sim x$带入$y\sim u$，即得$y\sim x$的偏最小二乘回归方程。
5. 交叉有效性检验：一般情况下，偏最小二乘法并不需要选用存在的r个成分$u_1,\cdots ,u_r$来建立回归式，只选用前$l$个成分即可得到预测能力较好地回归模型。对于建模所需提取的成分个数$l$，可通过交叉有效性检验来确定。
   每次舍去第$i(i=1,2,\cdots ,n)$个观测数据，对余下n-1个观测数据用偏最小二乘回归方法建模，并考虑抽取$h(h⩽r)$个成分后拟合的回归式，然后把舍去的自变量组第i个观测数据代入所拟合的回归方程式，得到$y_j(j=1,2,\cdots ,p)$在第i个观测点上的预测值${\hat{b}}_{(i)j}(h)$。
   对$i=1,2,\cdots ,n$重复以上的验证，抽取h个成分时第j个因变量$y_j$的预测误差平方和为$${\mathrm{PRESS}}_j(h)=\sum _{i=1}^n[b_{ij}-{\hat{b}}_{(i)j}(h){]}^2$$$\mathbf{Y}=[y_1,\cdots ,y_p{]}^T$的预测误差平方和为$$\mathrm{PRESS}(h)=\sum _{j=1}^p{\mathrm{PRESS}}_j(h)$$另外，再采用所有的样本点，拟合含h个成分的回归方程。此时，记第i个样本点的预测值为${\hat{b}}_{ij}(h)$，则可以定义$y_j$的误差平方和为$${\mathrm{SS}}_j(h)=\sum _{i=1}^n[b_{ij}-{\hat{b}}_{ij}(h){]}^2$$定义$\mathbf{Y}$的误差平方和为$$\mathrm{SS}(h)=\sum _{j=1}^p{\mathrm{SS}}_j(h)$$当$\mathrm{PRESS}(h)$达到最小值时，对应的h即为所求得成分个数l。定义交叉有效性为$$Q_h^2=1-\frac{\mathrm{PRESS}(h)}{\mathrm{SS}(h-1)}$$在建模的每一步计算结束前，均进行交叉有效性检验，如果将限制值设为0.05，在第h步有$Q_h^2<1-0.95^2=0.0975$，则模型达到精度要求，可停止提取成分；否则表示第h步提取的$u_h$成分边际贡献显著，应继续第h+1步计算。

2. Matlab偏最小二乘回归命令plsregress

[XL,YL,XS,YS,BETA,PCTVAR,MSE,stats] = plsregress(X,Y,ncomp)

• X为[n,m]的自变量数据阵；Y为[n,p]的因变量数据阵；ncomp为成分个数，默认为min(n-1,m)
• XL为[m,ncomp]的负荷量矩阵$\mathbf{\sigma }$；YL为[p,ncomp]的负荷量矩阵$\mathbf{\tau }$；XS为$\hat{\mathbf{u}}$的得分矩阵；YS为$\hat{\mathbf{v}}$的得分矩阵
• BETA的每一列对应$y\sim x$的回归表达式；PCTVAR是一个两行的矩阵，两行分别代表每个元素对应自变量和因变量提出成分的贡献率；MSE是一个两行的矩阵，两行分别代表自变量和因变量对应提出成分之间回归方程的剩余标准差
• stats返回4个值，其中stats.W的每一列对应特征向量$\mathbf{\rho }$，Matlab算得的特征向量不是单位向量