データマイニング - マトリックス分解SVD

有用なQR分解し、安定した特性を有するが、欠点はあるものの：直交列のセットのQR分解は、元の行列Aのグループのみを提供します
今SVDプレゼンテーションは、カラムの基部に垂直な、元の行列の行に対応するそれぞれ設けられてもよいです。

行列U、行列Vの列ベクトルは、特異ベクトルであり、
特異値の対角要素の中間対角行列。

ショー2 SVD上図の2つの表現、前者はFULL、（また、経済としても知られる）後者の薄型であります

% MATLAB函数
[U,S,V]=svd(A) %第一种的SVD分解
[U,S,V]=svd(A,0) %第二种的SVD分解，也就是thin型的SVD

矩阵的二范数保酉不变性：对矩阵A乘上酉矩阵U（也就是正交阵），前后的矩阵二范数不变。
（注：可以利用矩阵二范数||A||₂²=tr(A^TA)+相似变换不改变矩阵的迹，相似变换不改变矩阵特征值来证明。）
于是有了以下结论，彩色笔涂的是重点。

SVD分别给出了原矩阵A的值域、零空间的正交基，如下图。

下面这张图告诉我们：SVD分解出的中间的那个对角矩阵中提供的奇异值可以反映出原矩阵A的秩。

SVD还可以用来给矩阵去噪：
A=A₀+N,其中A是我们实际得到的，A₀是真实中不加噪声的原数据，N表示噪声，噪声比较小。我们考虑使用SVD的方法除去噪声，取出或者说近似的得出原始矩阵A₀。具体方法是对矩阵A进行SVD分解，并舍弃其中较小的奇异值和对应的奇异向量，如下图，又称为”截断SVD“，低秩近似分解，图中A_K就是原矩阵A的近似矩阵。

低秩近似的二范数误差是：第k+1个奇异值

低秩近似的F范数的误差是：

下面的引理给出了矩阵内积的定义：

SVD分解出的左右奇异向量证明了，矩阵A可以表示成几个秩为1的矩阵的和。

而且，这里的秩1矩阵相互正交，如下图：

只有当i=k且j=l时，两个秩1矩阵的内积才不为0，是1.
下图是，低秩近似结果的示意图：

SVD解最小二乘问题：

1. 以下の場合フルランク
   
   証拠は、次の通り：
   
   
   
2. 元の行列階数欠損の行（行数>列数）の場合
   場合は、単一の溶液が、最小ノルム解の数が存在しないが：
   
   
   次のように証明しました。
   
3. 溶液は、劣決定式（行<列数）をSVD
   まず、劣決定式の定義：
   
   結論：
   

%MATLAB程序
[U,S,V]-svds(A,K) %针对大型稀疏矩阵所作的部分SVD分解。
%取前K个奇异值和奇异向量。

SVDの欠点は、（たとえば、あなたが行と列の新しい行列を追加する必要がある）、比較的高いコスト、アップデートの貧しい再利用性である
完全に直交分解とみなさ：

あなたは切り捨てSVDメソッドを使用する場合、どのように奇妙な確認項目が撮影したどのように多くの値と（kはどのように決定するか、である）それの特異ベクトル？

：縮小ランクモデル使用する


ユースケース：
以前に作成したテキスト入力行列を、今の距離クエリベクトルQを求める_。1、Q ₂。各低ランク近似kは

：グリーンフォントが減少し、ランクモデル以上用いて表現


異なるk個を想定しますクエリのこれら2つのベクトルの近似値度（相対誤差によって測定される）、次の結果：