[機械学習] Wu Endaの機械学習ノート6-ロジスティック回帰

1.分類

 

2.仮説ステートメント 

シグモイド関数=ロジスティック関数 

関数の表現方法を想定すると:

 

3.決定の境界 

決定境界は、データセットの属性ではなく、仮説関数自体とそのパラメーターθ依存する仮説関数の属性です。トレーニングセットは、パラメーターθを近似するために使用されます。

 

4.コスト関数

ロジスティック回帰では、二乗コスト関数が使用される場合、仮説関数に含まれるシグモイド関数の非線形性により、コスト関数が非凸関数として表示される可能性が高いため、グローバル最適値を見つけるのは困難です。したがって、別のコスト関数を置き換えて、コスト関数が凸関数(凸)として表示されるようにし、勾配降下アルゴリズムを使用してグローバル最適値を見つけることができるようにします

 

5.コスト関数と勾配降下法を簡略化する

上の図のコスト関数は、最尤法を使用して統計から取得されます。これは、さまざまなモデルのパラメーターをすばやく見つけることができ、凸関数であるため、ほとんどの人がこれを使用してロジスティック回帰モデルを近似しますコスト関数。 

線形回帰とロジスティック回帰のコスト関数は同じように見えますが、実際にはそれらの仮想関数は異なるため、ここでは特別な注意が必要です。線形回帰では、仮説関数はθ転置* xですが、ロジスティック回帰では、仮説関数にシグモイド関数が含まれます。

 

6.高度な最適化

共役勾配、BFGS、L-BFGSなどのより高度な最適化アルゴリズムは、手動で学習率を選択する必要がなく、高速に実行できるという点で勾配降下アルゴリズムよりも優れていますが、これらのアルゴリズムは理解するのがより複雑になりますいくつか。

 7.マルチクラス分類:1対多 

ムーティクラス分類:1対すべて

 

おすすめ

転載: blog.csdn.net/weixin_44566432/article/details/107789300