新しいサイトを更新するために、「機械学習」、より多くのpython、行く、データ構造とアルゴリズム、爬虫類、あなたを待って人工知能教育のより完全な：https://www.cnblogs.com/nickchen121/
最小二乗法
最小二乗、四角は最小と理解することができ、最小のエラー、すなわち、線形回帰、平方\（誤差=真値-予測値を\） 。核となるアイデアは、最小二乗法である-二乗誤差を最小化し、ターゲットオブジェクト、線形問題を解決するための通常の最小二乗法に無限に近いので、被嵌合によって。
まず、最小二乗法 - 代数的方法
関数を仮定し、線形回帰を想定
\ [\開始{整列} H_ \オメガ（X_0、X_1、\ cdots、x_nに関する）＆= \ omega_0x_0 + \ omega_1x_1 + \ cdots + \ omega_nx_n \\＆= \ sum_ {i = 0} ^ n個\ omega_ix_i \端\ {整列}
] ここで、\（N-1 \）は、特徴の数です。すべてのためであれば\（）\ \ omega_i \クワッド （i = 1,2、\ cdots、n）が、それは関数が非線形であることが想定されるが、いずれかの\（\ omega_i \）のみ可変ので、次に、\（\ omega_i \）、関数は線形であると仮定すると、それは最小二乗法を用いて解くことができます。
線形回帰関数を仮定することによってのいずれかで得られる目的関数
\ [\開始{ALIGN} J （\ omega_0、\ omega_1、\ cdots、\ omega_n）＆= \ sum_ {J = 1} ^ M（H_ \オメガ（X ^ {（J）}） - y ^ {（J）}）^ 2 \\＆= \ sum_ {J = 1} ^ M（\ sum_ {i = 0} ^ N \ omega_ix_i ^ {（J）} - Y ^ {（J）}） ^ 2 \端{整列} \] \（m個\）はサンプルの数です。
それぞれ目的関数\（\ omega_i \）偏導関数、等の誘導体、すなわち、0であり、
\ [\ sum_ {J = 1 } ^ m個の\ sum_ {i = 0} ^ N（\ omega_ix_i ^ {（J） } - Yは、^ {（J）
}）X_I ^ {（J）} = 0 \] 上記の方程式を解くことにより得ることができる\（N + 1 \）一次方程式群は、方程式を解くことにより、全てのために得ることができます\（\ omega_i \） 。
第二に、最小二乗法 - 行列法
マトリックス最小二乗法は、代数的方法の多くよりも簡単です。我々線形回帰の仮定関数の代数的方法を記述することができる
\ [H_ \オメガ（X）
= X \オメガ\] 前記\（H_ \オメガ（X）が \） される（M * 1 \）\、次元ベクトル\ （X- \）がされている（M * N \）\次元マトリックス、\（\オメガ\）がされている\（N * 1 \）次元ベクトル、\（m個\）は、サンプルの数である\（N- \）を特徴とします番号。
上記マトリクス形式でマトリクス状に得ることができ、目標関数の関数と仮定
\ [J（\オメガ）= {\ FRAC {1} {2}}（Xの\オメガ-Y）^ T（X \ω-Y）\を]
ここで、\（{\ FRAC {1} {2}} \） のみ計算の便宜のために。
目的関数（\ \オメガ\）派生物を調製することができ、0をとり
[\ nabla_ \オメガ{J \
（\オメガ）} = X ^ T（Xの\オメガ-Y）が0 \ =] 使用偏導関数の上方マトリックスチェーンルールと両ガイド行列方程式を導く
\ [\開始{整列}＆ \ nabla_X（X ^ TX）= 2X \\＆\ nabla_Xf（AX + B）は、^ Tの\ nabla_ {AX +を= B} F \端{整列}
\] 上記式を終了することによって得ることができる
\ [\ {}＆整列始める X ^ TX \オメガ= X ^ TX \クワッド{ 同時に両側によって}を（X ^ TX）^ { - 1} \\＆\オメガ=（
X ^ TX）^ { - 1} X ^ TY \端{\]}整列直接ベクトルとすることができる、上述した単純化することにより、\（\オメガ\）を必要とせずに、誘導体\（\オメガ\）偏導関数の各要素。
最小二乗の第三に、長所と短所
3.1利点
- シンプルで効率的、勾配降下より便利に
3.2の欠点
- 私たちは、最小二乗法を計算する必要があります（X ^ TX \）\逆行列が可能\を（X ^ TX \）なし逆行列（一般的に、他の最適化アルゴリズム、データ処理や再聞かせての使用を検討する必要があります\（X ^ TX \）持っているが逆行列）
- 特性ナンバー場合\（n-は\）非常に大きい、\（X- ^ TXは\） （使用して確率的勾配降下法またはアルゴリズムは次元削減フィーチャ寸法を減少させる）の計算の非常に大量です
- 最小二乗フィット関数は、（の線形関数にフィットさせるための方法を見つけるためにいくつかの工夫により）のみを使用することができます線形場合にのみ、