七つのモノグラフ研究（ロジスティック回帰）

カテゴリー：K-最近傍、決定木、ナイーブベイズ、ロジスティック回帰、サポートベクターマシン、AdaBoostのアルゴリズム。
アプリケーション
- K-最近傍、距離計算は、分類を使用して達成されます
- 決定木は、直感的な分類ツリーを構築します
- 分類器を構築するために、確率論を使用してナイーブベイズ、
- ロジスティック回帰は、生データが最適なパラメータを見つけることによって分類されている修正するために、主でした
ロジスティック回帰（ロジスティック回帰）：名前に単語を「返す」、それは分類問題を扱うのが得意ですが。以下のような幅広い上の分類作業に適しLR分類器：正と負の感情的なレビュー情報分析、予測するユーザーのクリックスルー率、デフォルトのユーザー情報は、病気のスパム検出、ユーザレベルの分類（バイナリ）を予測します。
直線ロジスティック回帰として、ロジスティック回帰、得られた線形回帰は、線形回帰直線は、直線の最短距離をトレーニングセット内のすべてのサンプル点、入力変数xの分布に適合することが可能であることを除いて、本質的に直線でありますトレーニングのサンプルポイントはできるだけ離れて設定するように、決定境界を合わせて。二つの異なる目的。
二分法の下で：単位ステップ関数（オーシャンサイドハイウィコムステップ関数）。シグモイド関数処理が容易。
- シグモイド関数式
  
  $ F（X）= \ FRAC {1} {1 + E ^ { - X}} $
ロジスティック回帰：線形とシグモイド関数を組み合わせることは、ロジスティック回帰式により求めることができる：

Y = \ {。FRAC 1 1 + E {} {^ - （\オメガX + B）}}

Yは、（0,1）を採取します値。
（ログ約によって）形質転換、利用可能な

ログの\ FRAC {Y} {1 -y} = \オメガX + B

この式は対数確率です。
二項ロジスティック回帰

\（P（Y = 0 | {1} {1 + E ^ {\オメガX} X）= \ FRAC \）

$ P（Y = 1 | X）= \ FRAC {E ^ {\オメガのx}} {1つの+ E ^ {\オメガX}} $
ロジスティック回帰数

\（P（Y = K | X）= \ FRAC {E ^ {\オメガX}} {1+ \ sum_ {K-1} ^ {K-1} E ^ {\オメガ_ {K X}}} \）

$ P（Y = K。| X）= \ {FRAC 1} {1+ \ sum_ {} ^ {K-K 1 1-E ^ {} \オメガ_ {X}}} $ K
LR差と線形回帰
- ロジスティック回帰および線形回帰はモデルの2種類があり、ロジスティック回帰は、分類モデルで、線形回帰は、回帰モデルです。
LR損失関数：実際の値と予測値との間の隙間、小さな損失関数の機能を測定するために予測モデルを使用して、品質の損失関数、より良いモデル、最小の損失0。

-Log $（X）、Y = 1の$。

\（ - 。（ログイン1-X）、Y = 0 \）
2つの上部損失関数：

- [。Ylog（X）+（1-Ylog（1-X）] \（\）

Yはラベルである、0,1 Mサンプル、機能の完全な喪失に採取しました。：\

（J（\シータ）= - \ FRAC {M} \ sum_ {I = 1} ^ {M} [Y_ {I}ログ（P（X_ {I}）+（1-Y_ {I {1}。 }）ログ（1-P（

X_ {I}））] \）この式において、mはサンプル数であり、yは、ラベル、値0または1であり、iは番目のサンプルを示し、P（x）は予測を表します出力。
損失が小さすぎると、モデルは、オーバーフィッティングしやすい今回のデータの大部分を収めることができます。オーバーフィッティング導入正則を防ぐために。
勾配降下：損失関数が最小化されるが、反復勾配降下法によって解決することができ、損失関数が最小とモデルパラメータ値れます。
種の勾配降下
- バッチ勾配降下アルゴリズムBGD
- 確率的勾配降下アルゴリズムSGD

七つのモノグラフ研究（ロジスティック回帰）

おすすめ