ロジスティック回帰は、バイナリ分類と多変量分類を扱うことができる分類アルゴリズムです。その名前が「リターン」という言葉があり、回帰アルゴリズムではありません。では、なぜこの誤解を招く言葉の意味は、「戻る」していますか？個人的に私は、ロジスティック回帰モデルが分類されるがいると思いますが、それは、回帰モデルの影に残っている原則です。< https://www.cnblogs.com/pinard/p/6029432.html >
プレリュード：
あなたを強調表示する方法ロジスティック回帰は何人の非常に理解されています。それは一つの文章でそれを要約です！ロジスティック回帰データは、勾配降下を使用して、尤度関数法を最大にすることによって、ベルヌーイ分布を想定している従うバイナリデータの目的を達成するためのパラメータを解きます。
ロジスティック回帰の仮定、2：ロジスティック回帰の損失関数、3：ソリューションロジスティック回帰法、4：汎用ロジック回帰、5：ロジスティック回帰を分類する方法を、実際には、5点が含まれています。これらの問題は、ロジスティック回帰のあなたの知識の基本的なテストです。
ロジスティック回帰への線形回帰から1
我々は、モデルは、係数入力サンプルベクトルY行列Xθ、満足Y =Xθ間の出力特性の線形関係を得るための線形回帰であることを知っています。この時、私たちのYが連続しているので、回帰モデルです。
私たちは、Yが離散したい場合は、どのようにそれを行うには？私たちは、この変換関数Yのために再びそれを行う方法を考えることができ、それがg（Y）となります。他のセクションでは、実際のクラスBである、というように、我々は分類モデルを取得しながら、実際の間隔は、カテゴリーAであるとき、我々はグラム（Y）の値を聞かせてください。2つだけのカテゴリの結果場合、そのバイナリ分類のモデルです。ロジスティック回帰の出発点から来ています。ここでは、バイナリロジスティック回帰を導入し始めます。
2.バイナリロジスティック回帰モデル
私たちは、線形回帰の結果に変換関数gを行うに言及した1で、ロジスティック回帰は変更されることがあります。ロジスティック回帰関数gは、我々は一般的に、シグモイド関数であることを次のような形式をとら：
これは、zは正の無限大に向かう場合、G（z）は1になる傾向があり、そしてzは負の無限大、G（Z）に向かうときに私達の分類確率に非常に適しており、ゼロになる傾向がある、すなわち、非常に優れた性質を有していますモデル。また、それはまた、良好な派生的な性質を持っています：
G '（Z）= G（Z）（1 - G（Z））G'（Z）= G（Z）（1 - G（Z））
このGの（Z）、G（z）は、後で簡単に、我々は、この式を使用する、導出関数によって得られます。
Z =Xθ、従ってバイナリロジスティック回帰モデルの一般的な形を得る：Z（Z）我々は、G（z）はGであるせた場合に
3.バイナリロジスティック回帰損失関数
線形回帰が連続的であるので、モデル誤差の二乗と定義損失関数を使用することが可能である、線形回帰の損失関数を呼び出します。しかし、ロジスティック回帰、線形回帰経験の連続ではない関数定義の自然な損失は無関係になります。しかし、我々は我々の損失関数を導出する最尤法を使用することができます。
私たちは、定義により、二進ロジスティック回帰は、私たちの仮定が0または1の出力サンプルタイプであることを知っています。だから我々は持っています：
式のように書かれたこれらの2つの式、それは次のようになります。
yの値は0または1のみです。
Yは、確率分布関数式を求め、我々はモデル係数のθを解決する必要があるように、尤度関数を最大化するために使用することができます。
便宜上解く、ここで我々は対数尤度関数を使用するには対数尤度関数は、当社の損失関数J（θ）の逆である最大化されています。ここで、のような代数式の尤度関数は次のようになります。
式中、mはサンプル数です。
関数式の否定、即ち、損失の対数尤度関数の式：
4.最適化損失関数バイナリロジスティック回帰の方法
バイナリロジスティック回帰のための損失関数を最小化する、複数の方法があり、最も一般的には、勾配降下法、軸降下法、ニュートン法などです。ここで勾配降下方程式は、θの反復ごとに導出されます。
行列派生方法：
ここで、αは、勾配降下法のステップサイズです。
実際には、我々は一般的に最適化する方法については心配しないで、ほとんどの機械学習ライブラリは、ロジスティック回帰の最適化のすべての種類を構築しているが、少なくとも最適化の方法が依然として必要であることを理解します。
メソッドの代数的導出：
バイナリロジスティック回帰正則
ロジスティック回帰フィットにも直面している問題なので、我々は正則を考慮しなければなりません。共通するのは、L1とL2正則正則です。
通常のロジスティック回帰機能損失に比べ機能発現以下のロジスティック回帰L1正則損失、L1ノルムのような増加はペナルティが、ハイパーがααとしてペナルティ係数は、ペナルティ項の大きさを調整する操作を行います。
以下のようにバイナリロジスティック回帰L1正則損失関数式は次のとおりです。
軸共通の降下角と最小回帰と損失関数のロジスティック回帰L1正則最適化。
以下のようにバイナリロジスティック回帰L2正則損失関数式は次のとおりです。
ロジスティック回帰L2正則最適化方法及びロジスティック回帰と同様の一般的な損失関数。
バイナリロジスティック回帰の6.推進：多変量ロジスティック回帰
私たちのロジスティック回帰モデルと機能の前のセクションは、バイナリロジスティック回帰の損失に限定されており、バイナリロジスティック回帰の実際のモデルでは機能の喪失は、簡単に複数のロジスティック回帰に拡張することができます。例えば、この方法が最も一般的に使用される1-VS-残り、OVRを呼ばれる、いくつかの種類が常に正と思うし、残りの値はゼロです。
別の方法は、多対多多重ロジスティック回帰（MVM）であり、それは、試料中のサンプルの別の部分を選択し、カテゴリのカテゴリはバイナリロジスティック回帰を行います。最も一般的に使用される1対ワン（OVO）です。OVO MVMは特殊なケースです。我々は、サンプルのバイナリロジスティック回帰の2種類を行うことを選択するたびに。
ここでは多重ロジスティック回帰の唯一の特殊なケースは、ソフトマックス回帰を派生します：
我々は多重ロジスティック回帰分析に拡張する場合は、少しモデルは、次の展開を行います。
我々は、図2に示すように、出力yの、すなわちサンプル値が1であり、Kは、分類モデル要素であると仮定する。。。、K.
確率分布を得るためにK、K員ロジスティック回帰を設定する線形方程式を解く以下の通りであります：
多変量ロジスティック回帰損失関数導出及び最適化の方法と同様にバイナリロジスティック回帰、疲れていません。
7.まとめ
それはしないが特にロジスティック回帰バイナリロジスティック回帰モデルは、高速トレーニング、非常に一般的であったベクトル・マシン（SVM）をサポートするように主流が、分類は、トレーニング速度がSVMに比べて十分である共通の問題を解決するためにたくさん速いです。あなたは機械学習分類アルゴリズムを理解したい場合は、最初は個人的にはロジスティック回帰すべきだと思い分類アルゴリズムを学ぶべきです。ロジスティック回帰を理解し、他の分類アルゴリズムそれは難しいことではありません学びます。
概要：実用的なアプリケーションは、一定の確率は適切な心房細動の判断として（低減することができ、正と負のデータまたは当社の意図の深刻な不均衡の例が許可されている場合は特に、考慮されるべきである、万の人々 10が正常ではない、あなたは正常であると判断されます精度は 99.9％ ）いかなる意味することなく、
ロジスティック回帰関数のパラメータ説明：https://blog.csdn.net/jark_/article/details/78342644
一般的な質問：
ここでは、より重要なエラーの線形回帰とエラー尤度関数は、ここでは関係ありあなたが理解する方法ですか？
回答：こんにちは、エラーは一般的に平均二乗誤差や絶対誤差を測定するために使用されています。尤度関数に関しては、個人的に私は単に損失関数のアンチテーゼを理解することができる感じ。損失関数をf（x）は、F（X）を最小化することである場合、即ち 、 尤度関数が最大化される- F（X）- F（X）。もちろん、アルゴリズムと尤度関数の機能の損失の一部のみがこのような関係を満たすことができます。
パラダイムと役割を説明します。
-
-
ロジスティック回帰を解決する方法
最大尤度関数を直接解くことができないので、我々一般勾配降下によって機能に連続絶望最適解へ。実際には、この場所他の最適化手法の知識を調べて、ボーナスアイテムが存在します。そのため、勾配降下自体、そこ確率的勾配降下法、バッチ勾配降下、3つの方法で小ロット勾配降下、インタビュアーは、これらの3つの方法の長所と短所を頼むかもしれないし、最も適切な勾配降下法を選択する方法。
1. あなたは量が重要になり、冗長な計算がたくさんあるだろう計算にすべてのデータを横断する必要があるときに簡単に言えば、バッチ勾配降下は、グローバルな最適解を得るでしょう、欠点は、各パラメータを更新され、結果があるときにとき大量のデータは、各パラメータの更新が非常に遅くなります。
2. 確率的勾配降下が高分散頻繁に更新され、SGDを作ることの利点は、新規および潜在的に優れた局所最適解にジャンプします、欠点は、局所最適解への収束のプロセスがより複雑になっています。
3.小さな勾配降下の量と更新されたバッチGD SGDの利点毎回を組み合わせたときにn個のサンプルを使用します。パラメータの更新の数を減らすには、通常、私たちはこのアプローチを採用している深い学習で、より安定した収束の結果を得ることができます。
- 実際には、より深い隠されたボーナスアイテムがあります、あなたは、このようなアダム、運動量法などの最適化方法を理解していない参照してください。実際には、上記の方法以来2つの致命的な問題があります。
1.最初は速度の学習の右モデルを選択する方法です。最初から最後まで適切ではない、実際に学習の同じ速度を維持するために。startパラメータだけで学習し始め、この時間パラメータとできるだけ早く最適解に近い大きな学習率を維持するために遠く、必要全体で最適なソリューションのため。しかし、パラメータおよび最適解が比較的近い分離されたバックに学ぶ、あなたはまだ簡単に、初期の学習率を維持しすぎて学ぶことは簡単です最適な、シンプルな言語に近い前後に振動し、ほとんどの利点を渡り、彼は横に大きく逸れてしまいました。
2. 2番目のは、適切な学習率パラメータを選択する方法です。実際には、各パラメータの同じ学習率が保たれていると非常に不公平です。いくつかのパラメータは頻繁に更新されるので、あなたが適切な割合を少し学ぶことができます。一部のパラメータは、更新が遅い、その後、学習率が大きくなければなりません。ここでは、私は具体的には、無料のプレゼンテーションをします開始されません。
ロジスティック回帰の目的
この機能の目的は、精度を向上させるためにバイナリデータです。
ここでは、どの産業部門に適用されるロジスティック回帰の利点のいくつかを要約したものです。
- シンプルな形では、説明のモデルは非常に良いことができます。重鎖は、その後、最終結果の特性に影響が相対的に大きくなり、比較的高い値の特徴量から最終的な結果は、特徴の重みの異なる特性の影響を見ることができます。
- 良い結果をモデル化します。エンジニアリングでは、（ベースラインとして）受け入れられる作品も行われていれば、効果はそれほど悪くはない、と我々は、開発のスピードを加速させる大幅に、並行して開発された作品を特徴とすることができるが備わっています。
- より高速なトレーニング。分類、および計算関連の機能のほんの数だけ。ロジスティック回帰は、比較的成熟した最適化SGDを配布し、訓練速度はさらに、スタックマシンを通じて、我々は短い時間で良い繰り返すことができ、モデルのようにいくつかのバージョンを向上させることができます。
- 小さなフットプリント、特にメモリ。だけなので、あなたは、特徴量のそれぞれの寸法を格納する必要があります。
- 簡単に出力調整。出力は、各サンプルについての確率スコアであるため、ロジスティック回帰を容易、最終的な分類結果を得ることができ、我々は、特定の閾値よりも大きい閾値（分割され、これらの確率スコアカットオフは、以下のクラスがあり、容易にすることができ一定のしきい値）がクラスです。
しかし、ロジスティック回帰自体も多くの欠点があります。
- 精度は非常に高いではありません。フォームは、（線形モデルと非常によく似ている）非常に簡単ですので、実際のデータの分布をフィットすることは困難です。
- アンバランスなデータの問題に対処するのが難しいです。例えば：私たちは、すべてのサンプルが損失関数の陽性予測値も比較的小さくできた入れ1：私たちは、このような万よりも、正と負のサンプルのような非常に不均一な問題のための正と負のサンプルがある場合。しかし、分類器として、正と負のサンプルを区別する能力は非常に良いではありません。
- 非線形データが面倒です。他の方法を導入することなく、ロジスティック回帰、唯一線形分離処理データ、またはさらに、二分扱います。
- ロジスティック回帰自体が特性をフィルタリングすることはできません。時々、特性をフィルタリングするgbdtを使用して、ロジスティック回帰になります
来自< https://www.cnblogs.com/ModifyRong/p/7739955.html >