LDA次元削減原理
LDAの前に分類器詳述導出、そのコアであるベイズ式。LDA場合のように、既知の合計確率（条件付き確率）を見つける最大事前確率、同様の問題次元圧縮原理です。
。テープデータポイントラベルは、投影によって、より低い次元の空間に射影
B。投影点ので、同じカテゴリが「粘着性」になり、別のカテゴリは、「分離」されています
同様の書き込みコード「高凝集および低い結合。」注タグテープその点に、Xの値は、PCAの次元削減異なる考える、Yは考慮されていない。直感的には、上の理解は比較的容易であるが、突起の方向を決定する方法、そのないHaonong。
（ことをここでは2次元、簡単に可視化を仮定）最初のデータの中央異なる種類の計算、と仮定します。データを直接センター（次元削減）を結ぶベクトルwに投影されている場合は、ことがわかります重なりがある、（脳の塗りつぶしは、マッピングする必要はありません）。
最近、私は、ビューの奇妙なポイントを持っていた：直感的な理解に資するように、「Shuoxingjiegeを」抽象的な概念を理解しますが、しないように。
例えば、多次元の下で、視覚化することは困難であるが、この時間は、脳の画像は、依然として「抽象」、合計の意味で、その結果、2次元で立ち往生してもよいです
実際には、
私が思うに、
抽象的な概念を理解するための最良の方法
それはあります
戻る定義から、理解「ではなくマップを描く」ために、内部構造から、ルールから自分自身を抽象化、低次元が高次元を冷却することができます。
例えば、「ベクトル空間」を理解し、矢印の何座標を描画していないと、のような「技術レベル」、内部構造を理解するために多くの時間を過ごすに加え、いくつかの乗算を、そのような思考層。
これは、次元削減を分割することができない後に元のデータが線形分割することができる原因となる。このように、中心点を結ぶ投影線などのカテゴリは、OHではありません。
だから、最高の投影線、これは解決するために、次の問題がどのように決定します
LDA次元削減導出
フィッシャーの線形次元削減
- 異なるクラス、クラス間の次元削減、大きな差
- 同じカテゴリ、次元削減、データ点のクラス、小さな差
自然言語は数学の言語をオンにする方法の良い説明です、これは突然、非常に感動文を考え、実際には非常に興味深い質問です：
「問題を解決するために比較すると、実際には、最も困難な問題を（定義）を見つけることです」
直接引か赤ちゃん、さあません-大きなサンプルX Kのカテゴリがあると仮定し、中央（平均ベクトル）の各カテゴリ（行列）がある（\ mu_1、\ mu_2、\ ... \ mu_k \）
まず第一に、
説明、グローバル平均値および方法の異なるカテゴリの平均値との間の「差の合計」は、マトリックスを得るために
\（S_B = \和\ limits_ {k = 1} ^ K（\ mu_k - \バーX）（\ mu_k - \バーX）^ T \）
列ベクトルはOHであり、そして最後に行列、Bを取得：カテゴリー間の間を
その後、
説明すると、同じクラス、及び「中心点」の各サンプル点のクラス、「距離」はるかに与えるために同一のマトリックスを
\（\和\ limits_ {I = 1} ^ {N}（X_I - \ mu_k）（X_I - \ mu_k）^ T \）
注：私はここにあるN表すカテゴリk個のサンプルの数を、カザフスタン、サンプルの非ダイナミックハの全体的な数であります
すべてのカテゴリ、「合計」の各種間のサンプル点の差を考慮し、すなわちk個の和、の外層上に、次いで、及び：
\（S_W = \和\限界_ {i = 1} ^ K \和\ limits_は{I = 1} ^ N（X_I - \ mu_k）（X_I - \ mu_k）^ T \）
W：同様の間のサンプル点、内
目標：実際には、最適な投影方向を見つけたい、である、ベクトル
波数ベクトルが理解し：即ち、その長さ寸法（ダイ）、即ち方向を、座標の原点と軸「角度」とベースとを結ぶ方向が二次元的に測定します
\（最大_w \ J（W）= \ FRAC {w'S_Bw} {w'S_Ww} \）
\（W '\）前記\（T W ^ \） 。対応するベクトル/行列は、A '意味転置、対応する機能が誘導体表されます。
Wの異なる値、即ち、投影線は異なる方向（方向ベクトル）を表します
「大規模なグループの中で、小基」、すなわち、式の分母は全体に基づいて、下位要素に対して、できるだけ大きくすべき関数W投影線（ベクトル）J（W）上に、最大化問題。
ベクターは、任意の値を指定できますwは、できるだけ早く解決するために、次のことができワットを条件と制約を行います：
\（w'S_ww = 1 \）
なぜ1の分子、3、4？実際の缶に、1つの感触より美しいああだろう。
なぜワットの制約することができますか？\（S_w \）があれば、既知のものです\（S_w \）が大きい場合、それは必ずしも小さな、一見wは、上の制約を
やっにおける制約は？範囲の一般的な方向を制御し、ない生活の中で、無方向W
制約付き最小化問題への（-最大=最小）
\（min_w \ J（W）= - \ FRAC {1} {2} w'S_Bw \）
\（ST \ w'S_ww = 1 \）
ラグランジュのご紹介
\（L（W）= - \ FRAC + \ FRAC {1} {2} \ラムダ（w'S_ww-1）W {1} {2} w'S_B \）
後ろ（FRAC {1} {\ \ 2} \） 少し良く外観の形態における背面ガイドを見つけるために、意味のある何
ワットの偏微分は、0 LETです
\（\ nabla_w = 0 = -S_Bw + \ラムダS_ww \）
行列の導出、ネットワークの調査は、非常に具体的ではないと理解することができます
即：\（S_Bw = \ラムダS_ww \）
同時に乗算両側に等しい\（S_w ^ { - 1} \） 、すなわち：
\（S_w ^ { - 1} = \ラムダ\ wでS_B）
兄弟、フォーム、フォーム「\（= \ラムダX \のアックス）が」まあことを特徴と分解しない（ベクトル変換行うストレッチングに平行な方向）に、厳密に言えば、
場合 （{ - 1} S_w ^ \ S_Bする\） 機能分解の問題を解決さwは、対称行列であり、それは対称行列でない場合、問題は一般固有ベクトル問題となるOH。
以来（S_Bが\）\である直交正定行列、（カザフスタンを証明しないように）、と（S_B \）\機能分解を行い、我々が得ます：
同じ程度の共分散とS_B、ここでは半正定値共分散の下で証拠です
共分散行列は次のように定義される：\（\シグマ= E [（X- \ MU）（X- \ MU）^ T] \）
満たす、任意の非ゼロベクトルzのための単に証明：
\（Z ^ T \シグマZ \ \にGE 0）
\（Z '\シグマZ = Z' E [（X \ MU）（X \ MU）^ T] Z \）
\（= E [Z '（X- \ MU）（Z'（X- \ MU））^ T] \）
\（= E [Z '（X- \ MU）] ^ 2 \ GE 0 \）
非負、すなわち、半定値共分散症候群である必要があり、所望の
\（S_B = S \ランドS ^ { - 1} = Q \ランドQ '\）
行列のプロパティ：Xは直交している場合
\（S_B ^ {\ FRAC {1} {2} = Q \土地^ {\ FRAC {1} {2}} Qは、「\） 、\（\土地\）である対角行列の唯一の主要であり、そこ値の対角行列を。
そのため、
\（S_B = S_B ^ {\ FRAC {1} {2}} S_B ^ {\ FRAC {1} {2}} \）
今、次に定義 \（V = S_Bは^ {\ FRAC {1} {2}} \ W）を前式、次いで：（。{ - } S_w ^ 1 S_B = W \ Wラムダを\）\のように書くことができます。
\（S_w ^ { - 1} S_B ^ {\ FRAC {1} {2}} S_B ^ {\ FRAC {1} {2} = \ラムダ\重量）
V置換はする必要があります。
\（S_w ^ { - 1} \ W S_B ^ {\ FRAC {1} {2}}、V = \ラムダ）
次に両側を乗算\（S_B ^ {\ FRAC { 1} {2}} \） を得ました。
\（S_Bは^ {\ FRAC {1} {2}} S_w ^ { - 1} S_B ^ {\ FRAC {1} {2}}、V = S_B ^ {\ FRAC {1} {2}} \ = Wラムダ\ラムダV \）
短波、その結果、\（A = S_B ^ {\ FRAC {1} {2}} S_w ^ { - 1} S_B ^ {\ FRAC {1} {2}} \） 実際マトリックスは、この場合には、正定値でありますフォーム、および身近な形になります：
\（AV = \ラムダV、\ここで、v = S_B ^ {\ FRAC {1} {2}} \ W）
私たちは、パス変換になるだろう、なぜ？それはワットああを解決することです
機能は、その後、分解、見つかった\（\ lambda_kとV_K \）の後に（バックのペアの多くを取得する （\ lambda_k、V_Kは\）\いない行にはまだ大きないくつか取ること）
、W Aソリューションすなわち「高凝集力、低い結合」を満たすために、最適な投影方向を見つけます
\（= W（S_B ^ {\ FRAC {1} {2}}）^ { - 1} V_K \）
PCA対LDA
PCAの投影線（方向）にのみデータポイントようなものであるの分散最大、投影線垂直方向に基づいて分割線としては、タグ値関与しません
LDA投影線（方向）ようになっている点の異なる標識、大カテゴリとの間の距離、同じドット間の距離、ラベルを考慮しなければなりません
概要
でも、ああ、2波LDAを押し...
線形分類器としては、核となるアイデアは、あるベイジアン
次元削減ツールとして、原則的には、コードスタイル書くことで高い凝集、低カップリングを
思う、その後、膨張波は、ああ包括的なLDAは第一次元、分類+カーネル技術バラ ....波を疑問、