最小二乗問題についての講演
ガイドは、行列を意味して、我々は、損失関数（閉じた形の溶液）を最小化するパラメータ値の閉形式解を見つけることができます。まず、発現ベクターの形で機能の損失を置きます。
ライン上の各訓練サンプル行列はによって得ることができる\（M \回N \）デザイン行列\（X- \） （デザイン・マトリクス）、すなわち
\ [X = \左[\開始{アレイ} {C} { - \左（X ^ {（ 1）} \右）^ {T} - } \\ { - \左（X ^ {（2）} \右）^ {T} - } \\ {\ vdots} \ \ { - \左（X ^ {（M）} \右）^ {T} - } \エンド{アレイ} \右] \]
を含む$ \ VEC {Y} $ A $ M $次元の列ベクトルタグに対応する、
\ [\ VEC {Y} = \ [\配列は{C} {} {^ {Y（1）{}} \\ \ \\ vdots {Y} ^ {（M）}} \開始左端{アレイは} \右] \
] したがって、あります
\ [\ X {整列}開始 \ \シータ- \ VEC {Y}＆= [\開始{アレイ} {C} {\左（X ^ {（1）} \右）^ {T} \シータ}左\\ {\ vdots} \\ {\左（X ^ {（M）} \右）^ {T} \シータ}右] \端{アレイ} \ - \左[\ {アレイ}開始{C} { Y ^ {（1）}} \\ {\ vdots} \\ {Y ^ {（M）}} \端{アレイ} \右] \\＆= \左[\開始{アレイ} {C} {H_ {\シータ}左\（X ^ {（1）} \右）-y ^ {（1）}} \\ {\ vdots} \\ {H _ {\シータ} \左（X ^ {（M）} \右）-y ^ {（M
）}} \端{アレイ} \右] \端{整列} \] まず、我々は最初の二乗誤差損失関数の平均\を（J（\シータ）= \ FRAC {1} { 2} \ sum_ {i = 1 } ^ {M} \左（H _ {\シータ} \左（X ^ {（I）} \右）-y ^ {（I）} \右）^ {2} \ ）ベクターの形態として表される、ある
\} {開始位置合わせ\ [\ FRAC。1} {2} {（X- \シータ- \ VEC {Y}）^ {T}（X- \シータ- \ VEC {Y}） ＆= \ FRAC {1} { 2} \ sum_ {i = 1} ^ {M} \左（H _ {\シータ} \左（X ^ {（I）} \右）-y ^ {（I）} \右）^ {2} \\
＆= J（\シータ）\端{整列} \] 実際ベクトルパラメータに損失関数を参照することができる\を（\シータ\）マトリックス機能。前2つの行列の導出を利用して、
\ [\開始{式} \ \ nabla_ {整列}開始{A ^ {T}} F（A）＆= \左（\ nabla_ {A} F（A）\右）^ {T} \\ \ nabla_ {A} \ operatorname {TR}
ABA ^ {T} C＆= CA B + C ^ {T} AB ^ {T} \\ \端{整列} \端{式} \] 我々は、
\ [\ {式を}開始\ {整列開始 } \ nabla_ {A ^ {T}} \ operatorname {TR} ABA ^ {T} C＆= B ^ {T} A ^ {T} C ^ {T} + BA ^ { T} C \\ \端{整列
} \端{式} \] パラメータベクトルの損失関数次に\（\シータ\）導出我々は、
\ [\開始{整列} \のナブラ_ {\シータ} J（\シータ）＆= \ナブラ_ {\シータ} \ FRAC {1} {2}（X \シータ- \ VEC {Y}）^ {T}（ X \シータ- \ VEC {Y}左）\\＆= \ FRAC {1} {2} \のナブラ_ {\シータ} \（\シータ^ {T} X ^ {T} X \シータ- \シータ^ { T} X ^ {T} \ VEC {Y} - VEC {Y \} ^ {T} Xの\シータ+ \ VEC {Y} ^ {T} \ VEC {Y} \右）\\＆= \ FRAC {1 } {2} \のナブラ_ { \シータ} \ operatorname {TR} \（左\シータ^ {T} X ^ {T} X \シータ- \シータ^ {T} X ^ {T} \ VEC {Y} - \ VEC {Y} ^ {T右）\\＆= \ FRACは、{1} {2} \のナブラ_ {\シータ} \左} Xの\シータ+ \ VEC {Y} ^ {T} \ VEC {Y}（\ \ operatorname {TR} \シータ^ {T}（X ^ {T} X）\シータI-2 \ operatorname {TR} \ VEC {Y} ^ {T} X \シータ\右）\\＆= FRAC \ {1} {2} \左 （X ^ {T} X \シータ+ X ^ {T} X \シータ-2 X ^ {T} \ VEC {Y} \右）\\＆= X ^ {T} Xの\シータ-X ^ {T
} \ VEC {Y} \端{整列} \] 第三のスカラー方程式を使用し、それはトラック自体です。第五式の前半は、$ \ nabla_ {A} \ operatornameの後半で使用される上記の特性、使用 {TR} AB = B ^ {T} $を。
我々は、この導関数がゼロに等しいする正規方程式が得られ、
\ [\ {整列} X- ^ {T}を開始X- \シータ= X- ^ {T} \ VEC {Y} \終了{整列} \エンド\ {式を}開始{方程式} \]
最後のパラメータ閉じた形の解を得ることができる
。} 1 X-T ^ {} \ {Y VEC - \ [\開始式} {\整列開始{} \ =シータ（X-X- ^ {T}）^ { } \端{整列} \端
{式} \] キック、ノック。
