クロスエントロピー損失関数（クロスエントロピー）
私たちはロジスティック回帰アルゴリズムクロスエントロピー機能で導入されたが、最後の時間は、私はクロスエントロピー損失関数の詳細な説明をしませんでした。リストにそれをここに。損失関数はまた、エラー関数、アルゴリズムの動作の測度と呼ばれる分類では、正に誤分類の数、より誤分類、大きな損失と相関しています。
私たちは、ロジスティック回帰、クロスエントロピーに描かれた、彼は間違ったサブカテゴリ場合、それは損失を生成することを一度に言いました。
、あなたは、カテゴリ1を1として分類され、それは損失、共感を得られないだろう予測する場合は、カテゴリを0にカテゴリ0のために予想され、この式を見ることができるがほかに、損失が発生しません。誤分類損失は関数の結果になった後、損失が生成されます。
しかし、我々は結果を予測しました
確率値が実際にある、厳密にすることはできません、まだ損失が発生します通常の状況下では、0または1に等しい、しかし、この機能性を保証真のカテゴリY = 1、本当のカテゴリー1に、予測確率に近いが、結果の誤差が小さいです、Y = 0、カテゴリー1、より小さな誤差の予測確率一方。この特定のY = 0、Y = 1の分析後に容易損失分析の場合にもたらされます。
さらに、時系列アルゴリズム（バックプロパゲーションを含む）勾配降下を使用して必要に応じて一般的な損失関数は、特性を有するように、関数は凸最適化の基礎である凸（凹）関数、であることの要件は、一般的に存在する、およびそれは損失関数の二次導関数は、（常に正）一定の負のを必要とすることを意味します。
私たちは、データセット全体の損失を取得するために、すべてのサンプルの損失の合計を置けば私たちは、各トレーニングサンプルの損失を計算することができます。私たちの目的は、我々のモデルの予測より正確に、全体の損失が最小化されるようにすることです。しかし実際には、損失関数を満たすの多くは、この機能が、なぜクロスエントロピー損失のロジスティック回帰のためのソフトスポット？この問題は、直接派生見ることができます。
ロジスティック回帰は、我々は、出力の損失、パラメータに戻し伝搬損失、複雑な関数を実行するのと同等の確率を行うように、正規化シグモイド確率を行うために使用されたため。
この説明は、我々は、クロスエントロピー損失を使用して行うために正規化予測確率をシグモイドが、これら2つの関数はより複雑ですが、二つの機能が組み合わされた後、私たちはとき、のパラメータθを更新する必要が導出されます派生θは、それは非常に複雑な計算をたくさん保存すると、勾配降下、という、非常にシンプルである見つけます。シグモイドクロスエントロピー損失がとてもマッチしている理由です。
