BYRansブログから：http://www.cnblogs.com/BYRans/
この記事では、ロジスティック回帰分類問題について説明します。ロジスティック回帰は、バイナリ分類問題。
バイナリ分類
これは、yの値の2つだけの値（0または1）、バイナリ分類は、複数の分類に拡張することができる予測バイナリ分類を指します。例えば：私たちはスパムフィルタリングシステムを実行する必要があり、
クラスメールは、yの値を予測し、メールでスパムまたは正当なメールをされている特徴があります。カテゴリに対して、我々は一般に正のクラス（ポジティブクラス）とネガ型（ネガティブクラス）と呼ばれる、メッセージは、通常、正のクラスのスパムの例であり、負のクラスがスパムです。
ロジスティック回帰
ロジスティック機能
我々は、yの値バイナリ分類を無視する場合、離散値（0または1）、我々が使用し続ける線形回帰を yの値を予測します。そうすること0または1であり、yの値をもたらさないであろう。ロジスティック回帰関数y値を使用する区間（0,1）におけるyの値は、この関数が呼び出されるように正規化されるロジスティック関数（ロジスティック関数）、また、公知のシグモイド関数（シグモイド関数）。関数式を次のように
zが無限大に近づくロジスティック関数は、G（z）は1になる傾向がある; zは無限の時間になると、G（z）は0に近づきます。ロジスティック関数は、次のパターンがあります。
この機能は、以下の導出、特性に使用される特徴的なロジスティック導出関数があります：
ロジスティック回帰式
ロジスティック回帰は、最初の線形和で特徴付けし、次いで関数g（Z）機能を最も予測するために想定される使用、すなわち、マッピング機能層におけるマッピングの結果に追加された特徴、性質上の線形回帰です。G（z）は0と1の間の連続的な値にマッピングすることができます。線形回帰モデル式G（Z）に、ロジスティック回帰式が得られます。
慣例により、その
表現はに変換されます。
ソフト分類ロジスティック回帰
我々は現在、yの値うロジスティック関数によっては、に正規化（0,1）の間に、yの値は、xのカテゴリ1およびカテゴリ0に分類結果を入力して、取るべき結果の確率を表す、特別な意味を持ちます確率は以下のとおりです。
合併である何のため上記の式：
グラデーションアセント
ロジスティック回帰、次の類似した構造の尤度関数は、最尤推定と線形回帰の発現を得て、我々は最終的に表現θが繰り返し更新され表示されます。このアイデアはない明確で、記事「をご参照ください線形回帰、勾配降下」が、ここでは勾配降下を使用していないが、勾配の上昇は、ここので、尤度関数を最小化するためにされていない尤度関数を最大化することです。
私たちは、訓練サンプルが独立していることを前提とし、その後、尤度関数の式は次のとおりです。
また、対数尤度関数を取る、に変換されます。
私たちは、一例として、一つだけのトレーニングサンプルを持っている場合には、変換θ偏微分の尤度関数：
Y = LNX Y「= 1 / X：このプロセスの最初のステップは、偏向器のθ、デフレクタ式に従って変換の偏導関数です。
第二のステップは、誘導体GのG（z）の特性である「（Z）= G（Z）（1 - G（Z））。
第3のステップは、通常の変換することです。
このように、私たちはその後、θは、各反復、反復式方向勾配上昇の更新を取得します：
LMSアルゴリズムと比較して、この表現式は、それが全く同じに見えるが、として勾配上昇とLMSは、二つの異なるアルゴリズムである上に示されている
非線形関数。
二つの異なるアルゴリズム、同じ式で表現だけではなく、偶然の一致では、両者の間の深いリンクがあります。この質問は、私たちは、GLMで一般化線形モデルにお答えします。