3.1 Linear Basis Function Models（PRML 系列----3.1.5 Multiple outputs)

multiple, independent regression problems.

共享相同的基函数


对 $\beta求导可计算\beta估计值$

多变量解耦：原因在于 $W(M*K)$只定义了高斯噪声的输出，只考虑单变量即可

$W$中 $K个变量之间的协方差解偶证明$
$p(\mathbf{t} | \mathbf{x}, \mathbf{W}, \beta)=\mathcal{N}\left(\mathbf{t} | \mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}(\mathbf{x}), \beta^{-1} \mathbf{I}\right)$ $对于单个样本来说,上面式子中\mathbf{t}表示K个变量，其均值\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}(\mathbf{x})$ $为K维向量，协方差矩阵为对角阵,说明变量之间相互独立$

简单证明如下

$用到的公式：d|A|=tr(A^*dA),\frac{\partial{\mathbf{|A|}}}{\partial\mathbf{A}}=(A^*)^T=|A|(A^{-1})^T,特别当A=\Sigma为对称矩阵时，行列式对矩阵的导数=行列式*矩阵的逆$
$AA ^{-1}=\mathrm{I}$ $dAA ^{-1}+AdA^{-1}=\mathrm{0}$ $dA^{-1}=-A^{-1}dAA ^{-1}$
有了以上公式对下式中的 $\mathbf\Sigma$求导
$\ln L(\mathbf{W}, \mathbf{\Sigma})=-\frac{N}{2} \ln |\mathbf{\Sigma}|-\frac{1}{2} \sum_{n=1}^{N}\left(\mathbf{t}_{n}-\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\right)^{\mathrm{T}} \mathbf{\Sigma}^{-1}\left(\mathbf{t}_{n}-\mathbf{W}^{\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\right)$

$令A=(\mathbf{t}_n-\mathbf{W}^{\mathrm{T}}\boldsymbol{\phi(\mathbf{x}_n)})$
$f=A^{\mathrm{T}}\mathbf{\Sigma}^{-1}A$ $df=A^{\mathrm{T}}d\mathbf{\Sigma}^{-1}A=tr(A^{\mathrm{T}}d\mathbf{\Sigma}^{-1}A)=tr(AA^{\mathrm{T}}d\mathbf{\Sigma}^{-1})$ $=-tr(AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}d\mathbf{\Sigma}\mathbf{\Sigma}^{-1})=-tr(\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}d\mathbf{\Sigma})$ $\frac{\partial f}{\partial \mathbf{\Sigma}}=-\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}$
因此有：
$-\frac{N}{2}\mathbf{\Sigma}^{-1}+\frac{1}{2}\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}=0$ $\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}+\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}=0$ $-\sum_{n=1}^{N}\mathbf{\Sigma}^{-1}(\mathrm I-AA^{\mathrm{T}}\mathbf{\Sigma}^{-1})=0$ $\sum_{n=1}^{N}(\mathrm I-AA^{\mathrm{T}}\mathbf{\Sigma}^{-1})=0$ $N\mathrm I=\sum_{n=1}^{N}AA^{\mathrm{T}}\mathbf{\Sigma}^{-1}$ $\mathbf{\Sigma}=\frac{1}{N}\sum_{n=1}^{N}AA^{\mathrm{T}}$