研究ノートのロジスティック回帰

はじめに：
今日はロジスティック回帰について学びます。線形回帰モデルが $y = w ^ TX + b$、私たちは彼を変容させ、 $lny = w ^ TX + b$、これは「ロジット線形回帰」（ロジット線形回帰）です。これは、ロジスティック回帰と呼ばれるものです。もう一度変形 $y = e ^ {w ^ TX + b}$、一般的には、 $y = f（w ^ TX + b）$一般化線形モデルと呼ばれる形式。

1.数学の原則

Xは連続なので、 $w ^ TX + b$の結果も連続的ですバイナリ分類問題を行うために、単位ステップ関数を使用します。以下に示すように

、シグモイド関数を導入します。ロジスティック回帰の形式は次のとおりです。 $y = \ frac {1} {1 + e ^ {-z}}、z = w ^ TX + b$。y≥しきい値とすると、結果は正の例になり、それ以外の場合は負の例になります（しきい値は通常1/2）。
注：ロジスティック回帰は確率論的思考に基づいていますが、真の確率ではないため、ベイジアンアルゴリズムとは異なります。

損失関数： $J（θ）=-\ frac {1} {m} \ sum_ {i = 1} ^ {m} y ^ {（i）} log（σ（θ^ T・X_b ^ {（i）}））+ （1-y ^ {（i）}）（1-log（σ（θ^ T・X_b ^ {（i）}））））$、最適なロジスティック回帰モデルを探す場合、損失関数J（θ）が最小値に達するように、パラメーターθのセットを見つける必要があります。

第二に、コードの実装

1.手動コードの実装
実装プロセス：
①、シグモイドメソッドを定義し、シグモイドメソッドを使用してロジスティック回帰モデルを生成します
。②、損失関数を定義し、勾配降下法を使用してパラメーターを取得します
。③ロジスティック回帰モデルにパラメーターを代入して確率を取得します。
④。確率を分類に変換します。

在这里插入代码片

2. Sklearnの実装
前の記事では、モデルの汎化能力を向上させることができる正則化について学びました。sklearnのロジスティック回帰アルゴリズムが正則化に直接追加され、パラメーターはペナルティで、デフォルトはL2です。さらに、ハイパーパラメーターCが追加されます。つまり、損失関数の形は $J = CJ（θ）+αL1またはJ = CJ（θ）+αL2$

参照：「機械学習周Zhihua」第3章線形モデルセクション3.2、セクション3.3
参照記事：
https : //mp.weixin.qq.com/s/xfteESh2bs1PTuO2q39tbQ
https://mp.weixin.qq.com/s / nZoDjhqYcS4w2uGDtD1HFQ
https://mp.weixin.qq.com/s/ex7PXW9ihr9fLOjlo3ks4w
https://mp.weixin.qq.com/s/97CA-3KlOofJGaw9ukVq1A https：//mp.weixin.qq.9g/s