ロジスティック回帰ロジスティック回帰
モデル
\ [P（Y = 1 | X）= \ FRAC {1} {1 + E ^ { - （W \ CDOT {X} + B）}} \]
パラメータ推定
最尤推定を使用して
\ [（W）{整列} Lを開始\ {式を}開始\＆= \ Pi_ {I = 1} ^ N \シグマ（Z）^ {Y_I}（1- \シグマ（Z））^ {1-Y_I } \\＆\ RIGHTARROW ^ {取对数} \シグマ^ {N} _ {i = 1} y_ilog \シグマ（Z）+（1-Y_I）ログ（1- \シグマ（Z））\\＆= \ Sigma_ {I = 1} ^ Ny_ilog \ FRAC {\シグマ（Z）} {1- \シグマ（Z）} +ログ（1- \シグマ（Z））\\＆= \ Sigma_ {iは1 =} ^ Ny_iz +ログ（1- \シグマ（Z））\\＆其中、Z = W \ CDOT X、W =（X ^ {（1）}、X ^ {（2）}、...、X ^ { （K）}、B）\端{整列} \端{式} \]
用（（\）W L）\与えるために、最大値を見つける\（W \）の推定値。
問題
- ロジスティック回帰は、なぜそれが「リターン」論理と呼ばれる分類モデルですか？
イベントの確率発生しないイベントの発生確率の確率との間の比を指す、イベントログロジット確率は次のように表現される\（ロジット（P）=ログ \ FRAC {P} {1-Pを} \） 。ロジスティック回帰の目的のために、\（ロジット（P）= W \ X CDOT} + B {\） 、出力\（Y = 1 \）は、対数入力による確率\（Xは\）の線形関数で表されます。モデル、すなわち、ロジスティック回帰モデル。一方、ロジスティック回帰モデルは、確率の対数確率に変換されます。[閾値を用いパーセプトロンインターバルに分類され、ロジスティック回帰を確率に変換されます] - ロジスティック回帰と線形回帰の違いとの関係？
違いは：ロジスティック回帰では、\（Y \）従属変数の離散値を、線形回帰、\（Y \）は連続値です。これは、分類、回帰および線形回帰モデルのためのロジスティック回帰モデルです。
連絡先：- どちらも、線形モデルを一般化属します。ロジスティック回帰の仮定\（P（Y | X; \シータ）\ SIMベルヌーイ（\ファイ）\） 、最小二乗法を用いて線形回帰を解くこと、前提である\（P（Y | Xは、 \シータ）\ N SIM（\ MU、\シグマ^ 2）\） 。
- 両方の最適なパラメータは、勾配降下法を用いて解くことができます。
一般化線形モデル（一般化線形モデル）は、
条件を設定します
- \（P（Y | X; \シータ）\ SIM指数ファミリー分布\）
- \（H_ \シータ（X）= E [Y | X; \シータ] \）
- パラメータ\（\ ETA \）入力\（X \）直線的に関係しています
指数関数のファミリー分布
\（P（Y; \ ETA ）= B（Y）EXP（\ ETA ^ TT（Y）-a（\ ETA））、 ETAは自然パラメータである\、T（y）は、十分統計量である\ ）
- ロジスティック回帰理由クロスエントロピーはなく二乗誤差損失関数（MSE）として？
\（\ FRAC {\部分\シグマ（X）} {\部分X} = \シグマ（X）（1- \シグマ（X））、 x = 0のとき、最大値0.25。\）正方形を使用する場合損失関数として、得られた勾配値（勾配含む小さいであろうエラー\（\ FRAC {\部分\シグマ（X）} {\部分X} \） ）、高速コンバージェンス誤差逆伝播の欠如;クロスエントロピを用いて損失関数、勾配フリーとして\（\ FRAC {\部分\シグマ（X）} {\部分X} \） 、迅速に最適値を見つけることができます。 - なぜ、ロジスティック回帰シグモイド関数を使用できますか？
最大エントロピー原理の性質のために、指数家族の分布は、いくつかの統計の最大エントロピー分布を与えています。例えば、ベルヌーイ分布のために2つだけの値と期待値が与えられている（\ \ PHI \）の最大エントロピー分布。したがって、一般化線形モデル、ロジスティック回帰モデルの定義に従って
\ [{整列} Hを開始\ {式を}開始\ _ {\シータ}（X）＆= E [Y | X; \シータ] \\＆= \ PHI \\＆= \ FRAC {1} {1 + E ^ { - \ ETA}} \\＆= \ FRAC {1} {1つの+ E ^ { - \ W CDOT X}} \端{整列} \端{式} \]
最大エントロピー原則：すべての可能な確率分布モデルでは、確率モデルを学習し、最大エントロピーモデルが最適なモデルです。人気の用語、最大エントロピーモデルは、より多くの情報がない場合には、下の既存の事実（制約）を満たしながら、一部とは見なさ不確実性は、同様に可能性があります。
- なぜ、ロジスティック回帰目的関数は凸で？
それは単一の変数の関数判明した場合\（F（X）を\）凸関数は、それを示すために十分である（\ \ FRAC {\部分^ 2 {F（X）}} {\部分（X）\部分（X）} \ 0 GEQ \） 。ロジスティック回帰の目的関数がので、ベクトル形式の引数が、組成物の全ての第2の部分誘導体のヘッセヘッセ行列が半正定値行列であることができることを証明する必要があります。
凸関数が定義されている\（F（\ FRAC {X_1 + X_2} {2}）\当量\ FRAC {F（X_1）+ F（X_2）} {2}、 即ち、得られたローカルの最適な非常にグローバルな最適。\ ）