機械学習 - 線形回帰（B）

機械学習 - 線形回帰（B）

背景に復帰（回帰背景）

回帰が最初のフランシス・ゴルトンによって提案された、彼はよく知られている生物学者、進化チャールズ・ダーウィンのいとこの理論の創始者でした。ゴルトンは、進化論の影響を受けた理由は、アイデアが角度の束から形の個人差を説明するために、ヒトでの研究を実施します。

身長のフランシス・ゴルトンの研究では、早いリターンで普遍的法則を、まとめたものです。

第二に、線形回帰（単項線形回帰）

• 回帰分析（回帰分析）を確立するために使用される方法を二つ以上のシミュレーション変数間の相関式
• 名前の予測変数：従属変数（従属変数）、出力（出力）
• 独立変数（独立変数）、入力（入力）：と呼ばれる予測変数
• 線形回帰は、変数と従属変数からを含み、
• シミュレーションのための2つの変数の間の直線関係を上記
• 二つ以上の従属変数、重回帰分析（重回帰）が含まれている場合と呼ばれ

H（I）= TH0 + th1X

このθ1は、回帰直線の傾きである回帰直線と呼ばれる直線パターンに式対応、角度θ0は回帰直線の切片であります

正の相関

負の相関

無関係

第三に、コスト関数（相関係数/決意の係数）

1.コスト関数（コスト関数）

• 最小二乗法
• 真値y、予測値Hθ（x）は、エラーが、（Y-Hθ（X））^ 2乗
• 最小二乗誤差なるように、適切なパラメータを探します

$$
\ゼータ（\ theta_0、\ theta_1）= \ FRAC {1} {2メートル} \ sum_ {i = 1} ^ M（Y ^ I-H_ \シータ（X ^ I））^ 2
$$

仮説：
$$
H_ \シータ（X）= \ theta_0 + \ theta_1
$$
簡体：
$$
H_ \シータ（X）= \ theta_1x
$$

パラメータ：
$$
\ theta_0、\ theta1
$$
簡体：
$$
\ theta_1
$$

コスト関数：
$$
J（\ theta_0、\ theta_1）= \ FRAC {1} {2メートル} \ sum_ {i = 1} ^ {M}（H_ \シータ（X ^ {（I）}） - y ^ { （I）}）^ 2
$$
目標：
$$
\分_ {\ theta_0、\ theta_1} J（\ theta_0、\ theta_1）
$$
簡易：
$$
\分_ {\ theta_1} J（\ theta_1）
$$

2.相関係数

私たちは、線形相関の強さを測定するために、相関係数を使用します

3.決意の係数

相関係数R ^ 2（決意の係数）は、2つの変数間の線形関係を記述するために使用され、より広いアプリケーションの決意の係数は、二つの関連又は非直線、および2つの以上の引数を記述するために使用することができます関係。モデルの結果を評価することができます。

二乗の総和（SST）：
$$
\ ^ N-sum_1（y_i- \上線{Y}）^ 2
$$
回帰和（SSR）：
$$
\ ^ N-sum_i（\ハット{Y} - \上線{Y }）^ 2
$$
残差平方和（SSE）：
$$
\ sum_ 1} ^ {N-Iは、（y_i- \ハット{Y} =）^ 2。
$$

彼らの関係は3です：
$$
SST = SSR + SSE
$$

決意の係数：
$$
R＆LT ^ 2 = \ FRAC SSR} {} = {SST \ FRAC SSE {1-} {} SST
$$

第四に、勾配降下

コスト関数を最適化するために、A勾配降下最適化アルゴリズムであり、コスト関数が小さくなる
$$
いくつかの機能を持っているJ（\ theta_0、\ theta_1）
$$

$$
\分たい_ {\ theta_0、\ theta_1}（\ theta_0、\ theta_1）
$$

• 初期θ0、θ1
• J（θ0、θ1）が大域最小値に達するまで、θ0、θ1を変化させる、極大