ディレクトリ

1はじめに最小二乗法

（また、最小二乗法などの公知の最小二乗法）最小二乗法は、数学的な最適化技術です。このエラーを最小限に抑え、最高のマッチング機能を見つけるために、データを照合正方形。最小二乗法を使用して容易に未知のデータを計算し、最小決定されたデータ及びこれに実際のデータとの誤差を二乗するようにすることができます。最小二乗曲線フィッティングを使用してもよいです。いくつかの他の最適化問題は、エントロピーエネルギーを最小化または最大化することにより最小二乗法で表すことができます。（Baiduの百科事典より）

注：最小二乗法が広く使用されて、線形回帰に限定されるものではありません

2つの最小二乗歴史

1801年に、イタリアの天文学者ジュゼッペ・ピアッツィプラットは、最初の小惑星セレスを発見しました。セレスとしてフォローアップ観測の40日には、太陽の後ろに実行するようにした後、作成するPiazziはセレスの位置を失いました。そして、世界中の科学者がPiazziの観測がセレスを探し始める使用していますが、ほとんどの人は何の結果を持っていない計算の結果に基づいて、セレスを見つけること。彼は24歳だったときゴスもセレスの軌道を計算しました。オーストリアの天文学者ハインリッヒOlbersガウスに従って計算トラックセレスを再発見しました。

1809年に使用されたガウス最小二乗法は、彼の著書「天体運動の理論」を発表しました。

1806年のフランスの科学者ルジャンドル、独立した発明「最小二乗法」が、世界に知られ、歌われていません。

ルジャンドルはガウス最小二乗法は、最初の紛争を設立された人と協力してきました。

マルコフ定理 - 1829年に、ガウス最小二乗法最適化効果を証明する他の方法よりも強い提供し、それはガウスと呼ばれています。

最小二乗法だけでなく、最も重要な19世紀の統計的な方法ですが、また、数理統計学の魂を呼び出すことができます。相関と回帰分析は、分散および線形モデル理論の数学的な統計解析のいくつかの主要な枝は、最小二乗法に理論的な基礎です。アメリカの統計学者としてStigler（SM Stigler）は「数学の微積分などの数理統計学における最小二乗法」と述べました。それはとても最小二乗法と統計的研究への応用に重要な意義を持っているを勉強しなければならない最小二乗回帰メソッドのパラメータの最も基本的な方法です。（Baiduの百科事典より）

3つの基本的なフォーム

所定の典型的な属性の記述、請求ある最初のために今、すなわち、属性の値によって特性の線形結合に学習機能を予測する線形モデル、 $D$ ${\のBF {X}} =（{X_1}; {X_2}; \ ldots; {x_d}）$ ${} X_I$ ${\のBF {X}}$ $私$

$F（{\ BF {X}）= {\オメガ_1} {X_1} + {\オメガ_2} {X_2} + \ ldots + {\オメガ_d} {x_d} + B$

一般ベクターより簡潔な形で表されます。

$F（{\のBF {X}）= {{\のBF {\オメガ}} ^ {\のRM {T}}}は{\ BF {X}} + B$

その中でも、 ${\ BF {\オメガ}} =（{\オメガ_1}; {\オメガ_2}; \ ldots; {\オメガ_d}）$

点の数によって示されるように、理解するのが非常に簡単であることができる直線、事前に知られていない場合は直線の式であり、わずか数点は、これらの点によれば、このラインの関数として決定されます。私たちの仕事は、機能を取得したいくつかの既知のデータに基づいて解決されます。もちろん、これは単なる線形回帰、および多重線形回帰と似ています。

回帰分析、唯一の独立変数と従属変数を含む、二つの近似直線との間の関係は、これは、回帰分析と呼ばれ、利用可能である場合、線形回帰分析。回帰分析は、2つ以上の独立変数を含み、従属変数と独立変数間の線形関係から、重回帰分析と呼ばれる場合。多次元空間は線形超平面であるため、線形空間は、三次元の平面であり、直鎖状の二次元空間は直線です。

4線形回帰

与えられたデータセット：

$D = \ {（{X_1}、{Y_1}）（{X_2}、{Y_2}）、\ ldots、（{x_m}、{y_m}）\} = \ {（{X_I}、{Y_I}） \} _ {i = 1} ^ M$

その中でも、 ${X_I} \ {\カルR}で$ と ${Y_I} \ {\カルR}で$ 。

学ぶための線形回帰ビュー：

$F（{X_I}）= \オメガ{X_I} + B$ だから $F（{X_I}）\約{} Y_I$

実際には、この関数の中で可能な限りのデータを可能にする機能を見つけることです。それでは、どのようなパラメータを決定する $\オメガ$ と、その後？ $B$

明らかに、キーがどのように測定するかである我々が使用する、とのギャップの平均二乗誤差を測定することを。したがって、我々はに最小ギャップを発行します平均二乗誤差最小化され、すなわち、： $F（{X_I}）$ ${} Y_I$

$（{\ ^ *オメガ}、{B ^ *}）= \ mathop {\引数\分間} \制限が_ {（\オメガ、B）} \和\ limits_ {i = 1} ^ M {{{\左（ {F（{X_I}） - {Y_I}} \右）} ^ 2} = \ mathop {\引数\分間} \限界_ {（\オメガ、B）} \和\ limits_ {i = 1} ^ M {{{\左（{{Y_I} - \オメガ{X_I} - B} \右）} ^ 2}}$

ここで、 ${\オメガ^ *}、{B ^ *}$ それぞれ $\オメガ$ 、および $B$ ソリューションを提供しています。

幾何平均二乗誤差の意味は、一般的に、ユークリッド幾何学的距離を用いると呼ばれるユークリッド距離（ユークリッド距離）。平均二乗誤差モデルを最小限に基づいとして知られている方法によって解決された最小二乗法。線形回帰は、最小二乗法は、直線を見つけることを試みることであるように線形に全てのサンプルユークリッド距離最小の。

解く $\オメガ$ とそうプロセスを最小化することが、最小二乗線形回帰モデル「パラメータ推定」（パラメータ推定）と呼ばれます。最小を得るために、私たちは機能する必要が導出が可能。あるそれぞれおよび誘導体与えるために： $B$ ${E _ {（\オメガ、B）}} = \和\ limits_ {i = 1} ^ M {{{\左（{{Y_I} - \オメガ{X_I} - B} \右）} ^ 2}}$ ${E _ {（\オメガ、B）}}$ ${E _ {（\オメガ、B）}}$ $\オメガ$ $B$

$\ FRAC {{\部分{E _ {（\オメガ、B）}}}}、{{\部分\オメガ}} =左の2 \（{\和W \ limits_ {i = 1} ^ M {X_I ^ 2 - \和\ limits_ {i = 1} ^ M {\左（{{Y_I} - B} \右）{X_I}}}} \右）$

$\ FRAC {{\部分{E _ {（\オメガ、B）}}}}、{{\部分\オメガ}} = 2 \左（{MB - 左\和\ limits_ {i = 1} ^ M {（\ {{Y_I} - \オメガ{X_I}} \右）}} \右）$

溶液はゼロ逆数得られ、最適解、次微分がされ $\ FRAC {{\部分{E _ {（\オメガ、B）}}}}、{{\部分\オメガ}} = 0$ 、 $\ FRAC {{\部分{E _ {（\オメガ、B）}}}}、{{\部分\オメガ}} = 0$ 得られ $\オメガ$ 、そして最適解は、次のとおり $B$

$\オメガ= \ FRAC {{\和\ limits_ {i = 1} ^ M {{Y_I}（{X_I} - \バーX）}}}、{{\和\ limits_ {i = 1} ^ M {X_I ^ 2 - \ FRAC {1} {M} {{\左（{\和\ limits_ {i = 1} ^ M {{X_I}}} \右）} ^ 2}}}}$

$B = \ FRAC {1} {M} \和\ limits_ {i = 1} ^ M {（{Y_I} - \オメガ{X_I}）}$

その中でも、平均値。 $バツ$ $\バーX = \和\ limits_ {i = 1} ^ M {{}} X_I$

以上の5元線形回帰

これは、データセットのより一般的な場合、複数の線形回帰分析であります：

$D = \ {（{{\のBF {X}} _ 1}、{Y_1}）（{{\のBF {X}} _ 2}、{Y_2}）、\ ldots、（{{\のBF {X}} _M}、{y_m}）\} = \ {（{{\のBF {X}} _ I}、{Y_I}）\} _ {i = 1} ^ M$

その中でも、 ${{\のBF {X}} _ I} \ {\カルR}で$ と ${Y_I} \ {\カルR}で$ 。

この時点で、私たちは学ぶことをしようとしています。

$F（{{\のBF {X}} _ I}）= {{\のBF {\オメガ}} ^ {\テキスト{T}}}、{{\のBF {X}} _ I} + B$ だから $F（{{\のBF {X}} _ I}）\約{} Y_I$

これが呼び出され、複数の線形回帰（多変量線形回帰）。

同様に、この方法は、上で最小二乗法を用いて推定することができます。説明を容易にするために、我々は意志 $\オメガ$ と吸入ベクトル形式。 $B$ $左{\のBF {\帽子\オメガ}} = \（{{\のBF {\オメガ}}; B} \右）$

したがって、データセットは $D = \ {（{{\のBF {X}} _ 1}、{Y_1}）（{{\のBF {X}} _ 2}、{Y_2}）、\ ldots、（{{\のBF {X}} _M}、{y_m}）\} = \ {（{{\のBF {X}} _ I}、{Y_I}）\} _ {i = 1} ^ M$ として表される $m個の\時間は、（{D + 1} \右）左\します$ 行列の次元のサイズ ${\のBF {X}}$ 各行は一例に相当し、最前列の $D$ 要素は一例に対応する属性値、すなわち1に対して一定セットの最後の要素。 $D$

${\bf{X}} = \left( {\begin{array}{*{20}{c}} {{x_{11}}}&{{x_{12}}}& \cdots &{{x_{1d}}}&1\\ {{x_{21}}}&{{x_{22}}}& \cdots &{{x_{2d}}}&1\\ \vdots & \vdots & \ddots & \vdots & \vdots \\ {{x_{m1}}}&{{x_{m1}}}& \cdots &{{x_{md}}}&1 \end{array}} \right) = \left( {\begin{array}{*{20}{c}} {x_1^{\rm{T}}}&1\\ {x_2^{\rm{T}}}&1\\ \vdots & \vdots \\ {x_m^{\rm{T}}}&1 \end{array}} \right)$

その後もベクトル形式をマーク ${\bf{y}} = \left( {{y_1};{y_2}; \ldots ;{y_m}} \right)$ すなわち、同様に、平均二乗誤差が最小化されます。

${{\bf{\hat \omega }}^ * } = \mathop {\arg \min }\limits_{{\bf{\hat \omega }}} {\left( {{\bf{y}} - {\bf{X\hat \omega }}} \right)^{\rm{T}}}\left( {{\bf{y}} - {\bf{X\hat \omega }}} \right)$

ですから ${E_{{\bf{\hat \omega }}}} = {\left( {y - {\bf{X\hat \omega }}} \right)^{\rm{T}}}\left( {y - {\bf{X\hat \omega }}} \right)$ 、最小を得るために、我々は機能する必要が ${E_{{\bf{\hat \omega }}}}$ 導出が可能。 ${E_{{\bf{\hat \omega }}}}$ 対の ${\bf{\hat \omega }} = \left( {{\bf{\omega }};b} \right)$ 導出は、与えるために：

$\frac{{\partial {E_{{\bf{\hat \omega }}}}}}{{\partial {\bf{\hat \omega }}}} = 2{{\bf{X}}^{\rm{T}}}\left( {{\bf{X\hat \omega }} - {\bf{y}}} \right)$

順序 $\frac{{\partial {E_{{\bf{\hat \omega }}}}}}{{\partial {\bf{\hat \omega }}}} = 0$ 最適解を得るために、しかし、はるかに複雑なさらなる本明細書に記載のない単一変数線形回帰の場合、より、逆行列計算の導出に関する。

参考資料

[1] https://www.cnblogs.com/wangkundentisy/p/7505487.html

[2] ズハウ・ジワ機械学習と、北京：清華大学プレス、2016年1月。

機械学習ノート：線形回帰 - 最小二乗法の概要