统计学习方法读书笔记（十五）-奇异值分解

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

可以直接看这篇文章，关于奇异值分解讲的很清楚，还有个例子：奇异值分解

奇异值分解（singular value decomposition, SVD）是一种矩阵因子分解方法，是线性代数的概念，但在统计学习中被广泛使用，成为其重要工具。

一、奇异值分解的定义与性质

在看完上面那篇文章的例子之后，可以再看看书上的例15.1。

二、奇异值分解的计算

• 先求$A^{T}A$的特征值和特征向量
• 求$n$阶正交矩阵$V$
• 求$m\ast n$对角矩阵$\Sigma$
• 求$m$阶正交矩阵$U$
• 得到奇异值分解

具体可以手动推算一下例15.5，计算量并不是很大。

三、奇异值分解与矩阵近似

• 弗罗贝尼马斯范数
• 数据压缩
• 外积展开式

下一章传送门：统计学习方法读书笔记（十六）-主成分分析