数学機械学習 - 特徴ベクトル、行列の対角化

@

  1. 線形代数
    ベクトル、ベクトル空間、マトリックス、線形変換、
    固有値、固有ベクトル、特異値、特異値分解
  2. 確率と統計
    ランダムイベント、条件付き確率、トータル確率、ベイズ確率;
    統計、一般的な分布;基本原則
  3. 最適化理論
    限界、誘導体、線形近似、テイラー展開、
    凸関数、ジェンセンの不等式、最小二乗法、勾配、勾配降下

そして、線形変換行列

それは任意の線形変換行列を記述し、線形変換が直線平行線を保持するが、無駄な移動元。
\ [\ PMB V = \ bmatrix開始{Y} X \\ \\ \\ Z \ bmatrix終了{} = \開始{bmatrix} X \\ 0 \\ 0 \\ \端{bmatrix} + \開始{bmatrix} 0 \\ Y \\ 0 \\ \端{bmatrix} + \ {bmatrix} 0 \\ 0を開始\\ \\ Z \ bmatrix終了{} \]
\ [\ PMB V = \ bmatrix開始{Y} X \\ \\ \\ Z \ bmatrix終了{} = X \時間\ {0}開始bmatrix。1 \\ \\ 0 \\ \端{bmatrix} + Y \回{bmatrix} 0 \\ 1 \\ 0 \\ \端{bmatrix} + Z \時間が始まる\ {bmatrix} 0 \\ 0 \\ 1 \\ \開始\ 端{bmatrix} \]
座標各ベクトルの各軸への変位平行で示されている。
行列の行は座標系の基底ベクトルとして解釈される場合には、マトリックスを乗じ、座標変換を行うことと等価です場合は\(AM = B \) 我々は、言うことができる(Mは\になります)\ 転換\(B \)
この観点から、用語「変換」と「乗算」と同等です。
率直に言って、マトリックスは、それだけ座標変換するために必要な数学演算を表現するコンパクトな方法でだ、謎ではありません。さらに、線形代数行列演算、派生単純またはより複雑な変換の単純な変換方法です。
我々任意の方向に拡大する座標系に依存し、そしてすることができない(\ \ VEC {N} \ ) スケーリング単位ベクトルに平行な方向であり、kはスケーリング係数であり、スケーリング方向が原点と平行通過\(\ VEC {N} \)線形(2D)であるか、または平面(3D)が行われます。

\(\ VEC {V} = \ VEC {V} _ {+} || \ VEC {V} _ {⊥} \)
\(\ VEC {V} _ {||} =({}の開始\ \ LN \開始{N}){N} \)開始\
\(\ VEC {V} _ {⊥} = \ {}の開始- \ {}の開始_ {||} = \ {}の開始- ( \)\ \ {N}を開始する)回{N}を開始\ \ {}の開始

\(\ \ ^ { '} = \ VEC {V} _ {||} ^ {'} + \ VEC {V} _ {⊥} ^ {「} {}の開始)
\(\ _ {}で始まります{⊥} ^ {「} = \ VEC {V} _ {⊥} = \ {を}開始- (\ \ {を}回を始める{N}を開始する\)\ \ {N}を開始)
\(\ {始まりますV} _ {||} ^ {「} = K \回\ VEC {V} _ {||} = K \回(\回} {Nを開始\ \}の{開始)\ \} {Nを開始します)
({を}開始\ \時間が始まる\ {N}){n}が始まる\ + \ - \({「} = \ VEC {V} _ {⊥} = \ {を}開始^ {を}開始\ LN(\ {N}を開始\ \ {を}回開始)\ {N}を始める= \(\回\ VEC {V}を{N}を開始する\)(K-1)+ {を}開始\ {Nを開始} \)
待补充)

固有値と固有ベクトル

定義:$ A \(\のためのn次正方行列) \ラムダ\(非ゼロベクトル\) \ VEC V \(、その結果、\) \ PMB A \ VEC V = \ラムダ\ VEC V \(、次いで:\)ラムダ値特性と呼ばれる\ $ \(\ VEC V \)と呼ばれる対応する\(\ラムダ\)固有ベクトルは
値が0であってもよい特色、特徴ベクトルが0でない

(\ \ PMB A \ VEC = X \ラムダ\ ~~~~ X-X-VEC \ない= 0 \)

\((\ PMB A- \ラムダ\ PMB E)\ = 0 X-VEC \)

\(| \ PMB A- \ラムダ\ PMB E | = 0 \)\(\ラムダ\)\(xと\)私たちは価値を追求する必要があるとして、

  • \(\ PMBアックス\)代表ベクトルの線形変換、\(\ラムダX \)スケーリングを表すベクトル変換します
  • 特徴ベクトルが伸びているベクトルのみ変換発生することであることを意味します
  • 伸長率を測定対応する特性値
  • 特性値は、動きベクトルの方向ことを特徴とする移動速度であります

注:のみ計算固有値および固有ベクトルの行列

*
例:
\ [\ A = PMB \ bmatrix開始{} 4. 3&0 \\ \\&-5 \ bmatrix終了{} \]
固有値:**
\(| \ PMB A- \ラムダ\ PMB E | \)
$
= \} {始めるbmatrix
4- \&ラムダ0 \
3&-5- \ラムダ。
\ bmatrixエンド{}
$
\(=(4- \ラムダ)( - 5- \ラムダ)= 0 \)
与える:。。 - \(\ lambda_ {1} = 5、\ lambda_ {2} = 4 \)
特徴値の{1}。\(\ lambda_ = - 5 \) 特徴ベクトルを算出する(\ \ X_ {}。1つのPMB \)
\(\} {始める。9&0.3&0 \\ \\ \ bmatrix終了{} \ CDOT \ VEC X = 0をbmatrix ~~~ \ PMB 1} = X_ {\ 0 {始めるbmatrix} \\ 1 \\\端{bmatrix} \)
特徴値の\(\ lambda_ = {2}。4 \)は、特徴ベクトルを算出する(\ \ PMBのX_ {2} )\
\(\ \\\ {bmatrix} 0 0 \\ 3を始める&-9端{bmatrix} \ CDOT \ VEC X = 0 ~~~ \ PMB X_ {2} = \開始{bmatrix} 3 \\ 1 \\\端{bmatrix} \)

例:
\ [\ A PMB = \ {bmatrix開始4。} -2&\\\ \\ -1 3&bmatrix終了{} \]
固有値:
\(| \ PMB A- \ラムダ\ VEC X | = \始まります{bmatrix} 4- \ラムダ&-2
\\ 3&-1- \ラムダ\端{bmatrix} =(4- \ラムダ)( - 1- \ラムダ)+ 6 = 0 \) を得た:\(\ {lambda_ 1。 } = 1、\ lambda_ {2
} = 2 \) 特徴値の。。\(\ lambda_ {1} = 1 \) 特徴ベクトルを算出する。\(\ PMB X_ {1} \)
} {bmatrixを開始\(\ 3& - 2 \\ 3&-2 \端{
bmatrix} \ CDOT \ VEC X = 0 ~~~ \ PMB X_ {1} = \開始{bmatrix} 2 \\ 3 \\\端{bmatrix} \) 特徴値の\ (\ lambda_ {2} = 2 \) 特徴ベクトルを算出する(\ \ PMB X_ {2} \)
\(\ \\\ {2}開始-2 -3 \\をbmatrix。3&bmatrix終了{} \ CDOT \ VEC x = 0の~~~ \ PMB X_ { 2} = \開始{bmatrix} 1 \\ 1つの\\\端{bmatrix} \)
別の計算は、まず、\(\ VEC X \)特徴ベクトルとして表現\(\開始{bmatrix} 1 \\ 1 \\\端{bmatrix} \) と\(2 {bmatrixを}開始\ \ \\ 3 \\\端{bmatrixを}) 、すなわち、線形結合:
\ [\ X VEC = \ bmatrix開始{2} 1 \\\ \\ bmatrix終了{} = - 。 1 \ CDOT \開始{bmatrix}
1 \\ 1 \\\端{bmatrix} +1 \ CDOT \開始{bmatrix} 2 \\ 3 \\\端{bmatrix} \] 次に、固有値及び対応する係数(特性値)を得るために乗算される:
\ [\ VEC Y = -1 \ cdot2 \ CDOT \ bmatrix開始{} 1. 1 \\\ \\}終了{bmatrix + +1 \ cdot1 \ CDOT \ bmatrix開始{2} \\。 3 \\\端{bmatrix} = \
開始{bmatrix} 0 \\ 1 \\\端{bmatrix} \] この\(\ VEC Y = \ PMB A \ VEC X = \開始{bmatrix} 0 \\ {bmatrix} \)1つの\\\端同じ、それが表す\(\ PMB A \)ベクターの\(\ VEC X \)への線形変換相当の(\ \ PMB A \)固有値と固有ベクトルと(\ \ VEC X \)組み合わせ線形、線形変換、固有値と固有ベクトル行列は行列を表すことができる場合。言うことができる
マトリックスがマップとして作用する、実際の特徴ベクトルをズーム、各特徴ベクトルのズームレベルであります特徴値。\(\ VEC X \)
対応する右固有ベクトルに重みを与えるために、特徴ベクトル(特徴ベクトル群に対応する)のベクトルの線形結合を表す。そして、各重み値を特徴と乗算され、このマッピングは必須スケーリング演算である。
***

固有値を求めて

特異行列

類似性行列

定義:もし\(\ PMB A \)\(\ PMB B \)であるn次の正方行列、正則行列が存在する場合(\ \ PMB P \) そう\(\ PMBのP ^ { - 1} \ A CDOT \ CDOT \ P PMB = B \)と呼ばれる、\(\ PMB A \)及び(\ PMB B \)\類似

対角化


定義証明
定義:仮定\(N \回のn \)次の正方行列\(\ PMB A \)がある\(N- \)線形独立固有ベクトルは\(V_1、V_2、\ cdots 、v_n \ 、成分は全ての特徴の特徴ベクトルベクトル行列\(\ PMB S \) そこである(\ PMB S ^ \ { - 1} \ PMB A \ PMB S = \ラムダ\) \(\ラムダ\)があります\(\ PMB S \)対角マトリックス組成物の固有値に対応する、すなわち:
{ - }。1 \ PMB A \ S PMB = \ラムダ= \ bmatrix開始{} \ \\&lambda_1 \ [\ PMB S ^ \ ddots \\ && \ lambda_n \端 {bmatrix} \]
実証:
\(\ PMB A \ PMB S = \ PMB A \開始{bmatrix} V_1とV_2&V_3&\ cdots&V_n \終了{bmatrix} = \ \ {bmatrixを}開始lambda_1v_1&\ lambda_2v_2&\ lambda_3v_3&\ cdots& \ lambda_nv_n \端{bmatrix} = \ PMB S \開始{bmatrix} \ lambda_1 \\&\ ddots \\ && \ lambda_n \端{bmatrix} = \ PMB S \ PMB {\ラムダ} \)

\(\ PMB S ^ { - 1} \ PMB A \ PMB S = \ PMB S ^ { - 1} \ PMB S \ PMB {\ラムダ} = \ PMB {\ラムダ} \)

\(\ PMB = A \ PMB S \ PMB {\ラムダ} \ PMB S ^ { - } 1 \) 行列対角化)
***
例:
\ [\ A = PMB \ bmatrix開始{2} -3&\ \ -10 6 \\\端{bmatrix
} \] 対角化(\ \ PMB A \)

解:
\(\ PMB A- \ラムダ\ PMB E = \開始{bmatrix} -3- \ラムダ&2 \\ - 10&-6- \ラムダ\端{bmatrix} \)

\(( - 3- \ラムダ)(6- \ラムダ)+ 20 = 0 \)

\(\ Lambda_1 = 1、~~~ \ lambda_2 = 2 \)

対応した\(\ lambda_1 \)特徴ベクトル\(V_1 \)

(\ \ {bmatrixを}開始-4&2 \\ - {bmatrix} \ CDOT V_1 = 0、~~~ V_1 = \ \ {bmatrix} 1 \\ 2 \端{bmatrixを}開始10&5 \端)

対応した\(\ lambda_2 \)特徴ベクトル\(V_2 \)

(\ \ {bmatrixを}開始-5&2 \\ - {bmatrix} \ CDOT V_2 = 0、~~~ V_2 = \ \ {bmatrix} 2 \\ 5 \端{bmatrixを}開始10&4 \端)

\(\ PMB P = \ \ {bmatrix} \ VEC V_1&\ VEC V_2 \端{bmatrix} = \開始{bmatrix} 1&2 \\ 2&5 \\\端{bmatrixを}開始)

\(\ PMB P ^ { - 1} = \ {始めるbmatrix} -2- 5&\\ - 。3. 1&\ bmatrix終了{} \) 第2の順序は、主対角の変化は、対角が負の数/ DETなります(P))


おすすめ

転載: www.cnblogs.com/zxingwork/p/12488857.html