1.ロジスティック回帰とは何ですか。
2、導出及び処理するためにロジスティック回帰。
3、マルチロジスティック回帰分類
4、ロジスティック回帰線形回帰VS
5、ロジスティック回帰VS SVM
1.何がロジスティック回帰を作ります。
（Y = 0 | X; \シータ）回帰と呼ばれ、実際には$ Pを算出することで、分類された分類カテゴリを予測する$サイズ、予測カテゴリではなく、確率よりも、1、0であるが、確率が計算され、$ 0 \当量のP（Y = 0 | X; \シータ）\当量1 $、確率値自体は、概念を持たない非1、すなわち、0。
二つロジスティック回帰：xは、yは出力入力されます。
$ P（Y = 0 | X）= \ FRAC {1} {1 + E ^ { - } Z} $
$ P（Y = 0 | X）= \ FRAC {1} {1 + E ^ { - （\オメガX + B）}} $
$ P（Y = 1 | X; \シータ）+ P（Y = 0 | X; \シータ）= 1 $
$ Z =オメガ\ X + B $
$ \ FRAC {\部分Z} {\部分W} = X $
$ \ FRAC {\部分Z} {\部分B} = 1 $
ロジスティック：対数確率関数
確率：確率P /発生は1-P $の\のFRAC {P} {1-P} $を発生しません
対数確率：$ロジット（P）= \ログの\ FRAC {P} {1-P} = \オメガのX $
$ \オメガX + B = 0 $この決定境界;
P> 1-P、$ \ FRAC {P} {1-P}> 1 $、$ \ログの\ FRAC {P} {1-P}> 0 $、X> 0 $即ち$ \オメガ。
場合P <1-P、$ \ FRAC {P} {1-P} <1 $、$ \ログ\ FRAC {P} {1-P} <0 $、すなわち$ \オメガX <0 $。
$ Z =オメガ\ X + B $
時が$ 0 $ Z \ GEQ、$ G（Z）\ GEQ 0.5 $、= 1 $の$ Y
場合$ Z <0 $時間、$ gを（Z）<0.5 $、$のY = 0 $
2、導出及び処理するためにロジスティック回帰。
:(モデルパラメータを推定する尤度関数を用いてモデルパラメータ推定）
損失関数：$ \ prod_ {i = 1} ^ {N} P ^ {Y_ {I}}（1-P）^ {1-Y_ {I}} $（ここクロスエントロピー損失フォームと称します）
最大値を見つけ、対数尤度関数を書きます。
勾配降下、Wを求めています。
分類; | P（\シータX、Y = K）に
導出：
尤度関数：$ L = P ^ {Y_ {I}}（1-P）^ {1-Y_ {I}} $
対数尤度関数：$ L = P {Y_ {I}} +（1-P）（{1- Y_ {I}}）$
最大需要対数尤度関数からは、最低に変換：
$のL = - （P {Y_ {I}} +（1-P）（{1- Y_ {I}}））$
勾配降下によって追求するには：
$ \ FRAC {\部分L} {\部分P} = - \ FRAC {Y_ {I}} {P} + \ FRAC {1- Y_ {I}} {1-P} $
$ p = \ FRAC {1} {1つの+ E ^ { - Z}} $
$ \ FRAC {\部分P} {\部分Z} = FRAC \ {E ^ { - Z}}、{（1 + E ^ { - Z}）^ {2} = P（1-P）$
$ \ FRAC {\部分Z} {\部分W} = X $
$ \ FRAC {\部分Z} {\部分B} = 1 $
$のDW =（P-Y_ {I}）×$
$ DB =（P-Y_ {I}）$
3、マルチロジスティック回帰分類
方法：Nは、作られた2つの分類に対応します：
1VS23は、$ H _ {\シータ} ^ {1}（X）$
2VS13は、$ H _ {\シータ} ^ {2}（X）$
3VS12; $ H _ {\シータ} ^ {3}（x）は$
最大$ hを求めて_ {\シータ} ^ {I}（X）$カテゴリに対応します。
方法2：シグモイド関数ソフトマックスへ
このとき、コスト関数ソフトマックス回帰アルゴリズムを以下に示す（ここ）：
明らかに、上記の式は、ロジスティック回帰損失関数の一般化です。
私たちは、次のように読み取るために、フォームのロジスティック回帰機能を失うことができます。
そして、それを見つける勾配降下を使用します。
4、ロジスティック回帰線形回帰VS
線形回帰：
$ F（X_ {I}）= \オメガX_ {I} + bは$、使得$ Y_ {I} \のおおよそのF（X_ {I}）$
最小二乗法を探しています
一般線形回帰誤差関数は、（最尤推定から）の違いを乗
ロジスティック回帰が、それは非凸関数、唯一の局所最適解です。
（最尤推定由来）交差エントロピーコスト関数を用いてロジスティック回帰は、ため：凸関数、大域最適解があります。
違い：
1、ロジスティック回帰分類、回帰、線形回帰です。
ロジスティック回帰変数の離散的であるので2は、従属変数の線形回帰は、連続的です。
ロジスティック回帰は、線形回帰プラス活性化関数ではありません
$のH _ {\シータ}（X）= G（\はシータ_ {0} + \シータ_ {1} X_ {1} + \シータ_ {2} X_ {2} + \シータ_ {3} X_ {1 } ^ {2} + \シータ_ {3} X_ {2} ^ {2}）$
多項式を用いることを特徴とする、より複雑な境界だけでなく、線形分割を得ることができます。
決定境界は、属性のトレーニングセットではなく、H {\シータ}（X）$ _パラメータとそのプロパティを$自体を想定しています。
非線形モデルが、本質的線形分類モデルです。
線形回帰にシグモイドマッピングを追加し、推定$のP（Y = 1 | x）は$確率が分類すること。
$ \オメガX + B = 0 $として決定境界、線形を達成へ。
例えば：
$ \シータ_ {0} + \シータ_ {1} X_ {1} + \シータ_ {2} X_ {2} = 0 $
$ \シータ_ {0} + \シータ_ {1} X_ {1} ^ {2} + \シータ_ {2} \ SQRT {X_ {2} = 0 $
一見線形が、唯一の変数に変更しないでください。
の$ T_ {1} = X_ {1} ^ {2}、T_ {2} = \ SQRT {X_ {2}} $
$ \シータ_ {0} + \シータ_ {1} T_ {1} + \シータ_ {2} T_ {2} = 0 $
5、ロジスティック回帰VS SVM
$$ G（Z）= \ FRAC {1} {1 + E ^ { - } Z} $$
$$ P（Y = 0 | X; \シータ）= FRAC {1} \ {1つの+ E ^ { - （WX + B）}} $$
$ H入力xに対して（X）= $に対して、予測結果の確率（パラメータ$の\の$シータ）$ = P（Y = 1 | X; \シータ）$
LRは、サブリニア問題解決SVM、変数変換カーネルと同じです。
しかし、オーバーフィッティングに簡単にLR、変数の線形成長とLR VC次元ために。
SVMは、変数を持つクラスSVM VC次元の数が増加するので、オーバーフィッティングすることは容易ではありません。