52- 2019年9月22日午前18時59分51秒：2019年9月22日の午後6時22分で
与えられた問題のリビングエリアとベッドルームの数について、住宅価格を予測します。私たちは、線形回帰モデルを構築することができます。フォーム、有するものとする
\ [H（X）= \ sum_ {I = 0} ^ {N-} \ theta_ {I} X_ {I} = \シータ^ {T} X \]
前記\（\ theta_ {I}を\）が呼び出されたパラメータも重み（ウェイト）として知られている、（パラメータ）。\（X_ {0} = 1 \） で切片（切片）。
この表記は、上付き文字で表されることに注意試料成分のサンプルのインデックスを示し、\（N- \）することで、可変数。
トレーニングデータセットのために、我々は、以下の入力で出力偏差の予測値の二乗の最小和をとるようにしたいので、損失関数（ecost機能）トレーニングセットのパフォーマンスを測定するために想定されている
\ [\ {式始まります} J（\シータ）= \ （H _ {\シータ}左FRAC {1} {2} \ sum_ {i = 1} ^ {M} \ \左（X ^ {（I）} \右）-y ^ {（I）} \右） ^ {2} \端{式} \]
LMSアルゴリズム（最小二乗平均）
我々は、この損失を最小限にするために勾配降下（勾配降下）を使用し、損失関数は、定義された\（J（\シータ）\ ） その後、機能勾配降下更新ルールは、以下の個々のパラメータを与えている
\ [\ {開始式} \ theta_ {J}：= \ theta_ {J} - \アルファ\ FRAC {\部分} {\部分の\ theta_ {J}} J（\シータ）\端{式} \]
今、私たちは（X- ^ {}、y軸^ {} \右）$、\サンプルの$ \左があると仮定し、線形回帰問題の特定の更新式を見つけなければならない
[\始める{整列} \ FRAC {\部分} {\部分の\ theta_ { J}} J（\シータ）＆= \ FRAC {\部分} {\部分の\ theta_ {J}} \ FRAC {1} {2} \左（H _ {\シータ}（ X）-Y \右）^ { 2} \\＆= 2 \ CDOT \ FRAC {1} {2} \左（H _ {\シータ}（X）-Y \右）\ CDOT \ FRAC {\部分} {\部分の\ theta_ {J} } \左（H _ {\シータ}（X）-Y \右）\\＆= \左（H _ {\シータ}（X）-Y \右）\ CDOT \ FRAC { \ {\部分の\ theta_}部分左\ \\＆=（\ sum_ {i = 0} ^ {N} \ theta_ {I} X_ {I} -y \右）左\ {J}}（H _ {\ シータ}（X）-Y \右
）X_ {J} \端{整列} \] 従って試料へルール（P更新\（\ N-）を同時に変数、\（J = 1,2、\ ldots 、N- \） ）、\
[\ theta_ {J}：= \ theta_ {J} + \アルファ\左（Y ^ {（I）} - H _ {\シータ} \左（X ^ {（I）} \右）\右）X_ {J
} ^ {（I）} \] 上記更新規則も呼ばれる最小平均二乗誤差（最小二乗平均）のルールを更新し、またはWidrow-Hoffのルールを学び、それが呼ばれるサンプル、回更新される確率的勾配降下または増分勾配降下（確率的勾配降下法）。確率的勾配降下、もう少し激しい乱気流が、一般的にも良いです。ときに大規模なデータセット、この方法は、後者の方法よりも喜ばれます。
すべてのサンプルについて、同様の更新規則がある
\ [\開始式} {\ theta_ {J}：= \ + theta_ {J} \アルファ\ sum_ 1} = {Iがm} ^ {\左（Y ^ { （I）} - H _ {
右\シータ} \左（X ^ {（I）} \右）\）X_ {J} ^ {（I）} \端{式} \] 各ステップにおいて、この方法が使用されますすべてのトレーニングサンプルに、それはとも呼ばれるバッチ勾配降下（バッチ勾配降下）。
勾配降下は極小値に収束するが、線形回帰問題の機能の喪失、凸2次関数は、唯一の大域的最小値があり、グローバルな最小値に収束しなければなりません。