@
完全にそれらの数学的な意味を理解し、それが面白いではないが、それを記録。
問題
我々はすべて知っているように、（紙と一般PCA \（L_2-PCA \） 2つのノルムの使用、機能と構造の損失を表す）を解くが、外れ値に非常に敏感であるという問題がある。PCAのため、が行われている多くが始めた\します（\ ell_1 \）規範に依存しているが、少し違うと私はこの論文を知っています。
：ことのように私は、06年のSPCAゾウを読ん
予告、\（\ ell_1 \）での役割\（\ベータ\）間伐を取得する方法について。
紙は、一般的な問題のリターンは、次損失関数最小化することで、リターンの観点から、幾分異なると思われる：
\ [\ sum_ 1} ^ {N-I =（Y_I - （\ + beta_0 \ mathbf {\ベータ} ^ TX_I。 。））^ 2 \]
外れ値の影響を低減するために、使用：
\ [\ sum_ 1} ^ {N-I = | Y_I - （\ + beta_0 \ mathbf {\} ^ TX_Iベータ）| \]
と著者は、上記の問題は、線形計画法を用いて解くことができることに注意してください。
バックPCAに、我々は方向、この方向へのサンプルポイント見つけることを願っています\（\ ell_1 \）距離と最短の（おそらく誤解を）。
ディテール
\（L_1-PCA \）損失関数
まず、データは、入力仮定される\（X_I \で\ mathbb {R＆LT} ^ m個の\） 、およびデータ行列を構成する\（X- \で\ mathbb {R＆LT} ^ {N- \時間Mを} \） 。まず、著者が見つけたいと思っ\（M-1 \）部分空間の次元、この部分空間サンプルポイント（\ \ ell_1 \）距離と最短。これに先立って、距離の計算を議論することが必要です。
超平面をポイントし、図から分かる\（S \）がされる（\ ell_1 \）\距離ので、ポイントの部分空間の間の距離を定義するために、実際には、ユークリッド距離ほど一般的ではありません：
\ [D（X、S）=
\ INF \ {\ | XZ \ || \ S \のZ \ FORALL} \]は超平面Sが想定されている（\ \ベータ^ T X = 0 \） が通過すると仮定すると（特性評価原点）、次いで：
最初、サンプル点のために\（X_I \） 、選択\（J \）を、そう\（Y_I = z_i、I = \ませんJ \） 、および\（y_jは、\）と仮定すると（のように定義されます\（\ beta_j = \ない0 \） ）：
\ [ - \のFRAC {\ sum_ {I = \ませんJ} \ beta_i X_I} {\ beta_j} \]
証明やすいので\（\ベータ^ TのY = 0 \ ）、つまり、\（Sにおけるy軸の\ \） 。
下面证明， 如果这个\(j\)使得\(|\beta_j| \ge |\beta_i|, \forall i = \not j\), 那么\(|x-y|\)就是\(x\)的\(\ell_1\)距离. 首先证明，在只改变一个坐标的情况下是最小的, 此时:
\[ |x-y| = |x_j+\frac{\sum_{i = \not j} \beta_i x_i}{\beta_j}|=|\frac{\sum_{i } \beta_i x_i}{\beta_j}|=\frac{|\beta^Tx|}{|\beta_j|}. \]
因为分子是固定的，所以分母越大的距离越短，所以在只改变一个坐标的情况下是如此，下面再利用数学归纳法证明，如果距离最短，那么必须至多只有一个坐标被改变.
\(m=2\)的时候容易证明，假设\(m=k-1\)的时候已经成立，证明\(m=k\)也成立:
如果\(x, y\)已经存在一个坐标相同，那么根据前面的假设可以推得\(m=k\)成立，所以\(x, y\)必须每个坐标都完全不同. 不失一般性，选取\(\beta_1, \beta_2\)，且假设均不为0， 且\(|\beta_1| \le |\beta_2|\).
令\(y'_1=x_1, y'_2=y_2-\frac{\beta_1(x_1-y_1)}{\beta_2}\)，其余部分于\(y\)保持相同.则距离产生变化的部分为:
\[ |x_1-y_1'|+|x_2-y_2'|=|y_2-x_2 - \frac{\beta_1(x_1-y_1)}{\beta_2}|\le |y_2-x_2|+|x_1-y_1| \]
所以，新的\(y'\)有一个坐标相同，而且距离更短了，所以\(m=k\)也成立.
所以，我们的工作只需要找到最大\(|\beta_j|\)所对应的\(j\)即可.
所以，我们的损失函数为:
\[ \sum_i \frac{|\beta^T x_i|}{|\beta_j|}. \]
因为比例的关系，我们可以让\(\beta_j=-1\)而结果不变:
\[ \sum_i |x_{ij}-\sum_{k = \not j}\beta_kx_{ik}|. \]
把\(x_{ij}\)看成是\(y\)，那么上面就变成了一个\(\ell_1\)回归问题了. 当然我们并不知道\(j\)，所以需要进行\(m\)次运算，来找到\(j^*\)使得损失函数最小. 这样，我们就找到了一个\(m-1\)维的子空间.
算法如下:
\(L_1-PCA\)算法
因为PCA的目的是寻找一个方向，而不是一个子空间，所以需要不断重复寻找子空间的操作，这个地方我没怎么弄懂，不知是否是这样:
- 找到了一个子空间
- 将数据点投影到子空间上
- 寻找新的坐标系，则数据会从\(k\)-->\(k-1\)维
- 在新的数据中重复上面的操作直至\(k=1\).
有几个问题:
投影
对应算法的第4步，其中
需要一提的是，这里应该是作者的笔误，应当为:
\[ (I_{j^* \ell}^{j^*})^m = \beta_{\ell}^m, \ell = \not j^*, \]
理由有二:
首先，投影，那么至少要满足投影后的应当在子空间中才行，以3维样本为例:\(x=(x_1, x_2, x_3)^T, j=2\),
按照修改后的为:
\[ z = (x_1, \beta_1x_1+\beta_3 x_3, x_3) \]
于是\(\beta^Tz=0\), 而按照原先则不成立，
其次，再后续作者给出的例子中也可以发现，作者实际上也是按照修改后的公式进行计算的.
另外，提出一点对于这个投影方式的质疑. 因为找不到其理论部分，所以猜想作者是想按照\(\ell_1\)的方式进行投影，但是正如之前讲的，\(\ell_1\)的最短距离的投影是要选择\(|\beta_j|\)最大的\(j\)，而之前选择的\(j^*\)并不能保证这一点.
坐标系
论文中也有这么一段话.
既然\(\ell_1\)范数不具备旋转不变性，那么如何保证这种坐标系的选择是合适的呢，还有，这似乎也说明，我们最后选出来的方向应该不是全局最优的吧.
载荷向量
\（\アルファ^ kが\）荷重ベクトル空間k番目は、したがって、それは非常に異なっており、SPCAは、それが疎でないことである。
また、性質を有し、そしてにより\（V ^ k個の\ ）張部分空間の直交、これは十分に文書化されているため）\（Z- ^ k個の\ベータ= 0 \。
全体的に、私はこのアイデアは非常に興味深いと思いますが、いつも当たり前の感じ、合理的な説明が少し不足を感じました...