シーケンス
クロスエントロピー損失は、一般的に分類タスク損失関数で使用されるが、2クラスとマルチ分類の状況の下で、クロスエントロピーの異なる形式に気づいていますか？
2つのレコードのそれとの違い。
二つの形式
どちらも、クロスエントロピー損失関数ですが、それは長い間大きな違いのように見えます。なぜクロスエントロピー損失関数があり、それは同じ長さではないでしょうか？
これら2つのクロスエントロピー損失関数が、異なる最後の層の出力に対応するため：
最後の層は、第1ソフトマックスに対応し、最後の層は、第2のシグモイドに相当します。
情報理論におけるクロスエントロピー
情報理論におけるクロスエントロピーの形での初見
クロスエントロピーは二つの分布の距離を記述するために使用され、オブジェクトは、ニューラルネットワークのトレーニングG（x）を近似するP（X）を作ることです。
レイヤクロスエントロピーソフトマックス
G（x）は、それは何ですか？最後の層は、出力yです。
それは何のp（x）は？それは私たちのワンホットラベルです。：私たちは、あなたが最初の式を取得、クロスエントロピー数の定義を持っ
jはxがクラスjに属するサンプルを表しています。
出力シグモイドのクロスエントロピーとして
最後の層の出力としてシグモイド、そして、それはへの最後の層の出力として見ることができないというものにまで追加していないので、配布しました。
今各神経素子の最後の層が分布としてでなければならない、標的（このクラスの確率を表す目標値）に対応する二項分布は、その後、i番目のニューロンは、クロスエントロピーです。
だから、総クロスエントロピー損失関数の最後の層は、次のとおりです。
：より転載
作者：オーバー0 0火災
リンクします。https：//www.jianshu.com/p/5139f1166db7