主成分分析（主成分分析、PCA）
線形代数は、に基づいて導出することができ、主成分分析（主成分分析、PCA）この単純な機械学習アルゴリズム。
1、出発点：我々は、m個の点X {を設定しているN次元実線形空間（1）、X （2）、...、X （M） }、これらの点非可逆圧縮、所望の圧縮をできるだけの損失のプロセスの精度。低次元方法をコードすることは、各点Xのためのm個の点で、高次元で表されるべきである（I）、L次元コードベクトルCに対応する（I）、Cであれば（I） X-未満の寸法（i）は、その後、我々は、元のデータを保存するために、より少ないメモリで実現しています。
図2は、我々の目的は、以下のようになる。そのF（X）= cがデコード機能、例えばx≈gを見つける②に①、符号化関数を見つける（F（X））。
図3に示すように、デコーダを簡単にするために、我々は、使用するマトリクス乗算モード符号Cは元のn次元空間にマッピングされ、すなわち、G（c）はDが定義さDcは、コーディング問題を簡単にするために、L次元×n行列をデコード=我々は、Dは、互いにユニットノルムと直交を有するすべての列ベクトルを制限します。厳密にはL = Nの場合を除き、言えば、Dは非直交行列です。
図4に示すように、符号化：最適符号化入力X→C *：入力xと再構成された出力G（Cの最小化*、距離の間）を、すなわち、C * = argmin || XG（C）|| 2線形代数により、そして、ベクトル微積分演算、= C DことができるT X、こうして得符号化関数F（X）= D T X.
図5に示すように、復号化：R＆LT（X）= G（F（X））= DD Tこれを用いた行列D内のすべての点をデコードによるX、Dが選択された符号化マトリクスのリモデリングは、それはすべての寸法を最小にすることが必要であるとすべての点でエラーフロベニウス行列ノルム。Xがある場合に最良のL = D 1、演算により得られたL = 1を解くことを開始することができるTたい場合、最大固有値は、より一般的には、得られた最初の主要成分となるよう、Xの値に相当します最大の特徴成分l番目に対応する最初の値だけを主成分基、固有ベクトル行列Dを得ました。