1、線形回帰（線形回帰）モデル
線形回帰は、二つ以上の相互依存変数分析法間の統計的な定量的関係、非常に広範囲の使用を決定するための数学的統計、回帰分析、の使用です。回帰分析は、唯一の独立変数と従属変数と、2本の近似直線との間の関係を含み、これは、回帰分析、線形回帰分析と呼ばれ、利用可能です。回帰分析は、2つ以上の独立変数を含み、従属変数と独立変数間の線形関係から、重回帰分析と呼ばれる場合。高次元のマップにより多くの、より強力な非線形モデル（非線形モデル）のために利用できる根拠は、線形モデルとなり得ます。
条件：データ型の主なタイプまたは公称値。（1）線形関係から独立変数と従属変数かどうか、（2）正規分布と従属変数かどうか;（3）との間により独立変数の値かどうか、分散（4）かどうかを均質。
2、システム・モデル
一般的なケースに遭遇した線形回帰の問題。我々は持っている$メートルの$のサンプルを各サンプルはに対応し、$ $のn 次元の特徴と結果出力。
形式の訓練データ：
$（X_1 ^ {（0）}、{X_2 ^（0）}、... {x_nに関する^（0）}、Y_0）、（X_1 ^ {（1）}、{X_2 ^（ 1）}、... x_nに関する^ { （1）}、Y_1）、...（X_1 ^ {（M）}、X_2 ^ {（M）}、... x_nに関する^ {（M）}、y_n ）$
私たちは、主に行うパラメータ$ \左（{B {\ rmを{、}} {W_1} {\ rmを{、}} \ cdots {\ rmを{、}} {W_N}} \右）$線形回帰を求めることです次のようにモデルは次のとおりです。
$ yを= \和\ limits_ {J = 1} ^ nは{{w_j}}、{X - jが} + bは$
前記回帰係数の$ Wの$、$ B $のバイアス。次いで、上記の式は以下のように表すことができる。上記の式のために、そう$ {X_0} = 1 $、：
$ yを= \和\ limits_ {J = 0} ^ nは{{w_j}} {X - jが} $
次のようにマトリクス化：
$ Y = XWの$
図3に示すように、損失関数の構成（の二乗損失関数/平均二乗誤差）
線形回帰モデルでは、目標は、線形回帰式を見つけることです。線形回帰の評価は、予測値とラベルの間の近さを測定する方法を指します。線形回帰モデルの損失関数の一般的な二次損失関数/主にどこで、二乗誤差（二乗損失）を意味します。：二次損失関数であり、上記のモデルのための
{1} $ L_w = \ FRAC {2} {\ SUM \ limits_ {I = 1} ^ M {\左（{{Y ^ {\左（私は\右）}。 } - \和\ limits_j ^ N {{X - jがw_j} ^ {\左（iは右\）}}} \右）} ^ 2} \] $
このような理由から、私たちは以下の最小化問題を描くことができます。
$ \ mathop {{\ RMの{分}}} \ limits_w {\ RMを{}} {l_w} $
線形回帰の4ソリューション
1）最小二乗法
予測する線形回帰モデルの場合、関数は次のとおりです。
$ Y = XWの$
その損失関数は次のようになります。
$ {\（{Y - XW} \右）左^ T} \左（{Y - XW} \右）$