クロスエントロピーを計算の2つの確率関数またはモードとの間の距離を計算するために使用されるKLダイバージェンスを用いています
クロスエントロピー損失関数ニューラルネットワークを意味することを理解されるように：
クロスエントロピーは、所望の出力（確率）と実際の出力（確率）から描かれている、つまり、2つの確率分布も小さいクロスエントロピー値、近い、即ち、提案されました一緒に、より良いです。
CrossEntropy = H（P）+ DKL （p || q）はCrossEntropy = H（P）+ DKL（p || q）が交差エントロピー= H（P）+ DKL（p || q）はCrossEntropy = H（P）+ DKL（p || q）は
P分布が既知である場合、エントロピーは一定であり、その後、クロスエントロピー及びKL発散は等価です。
最尤推定パラメータ推定を使用してKLダイバージェンスとモデルを最小化することは一貫しています。（式導出から証明することができる）
多くのモデルと機能の喪失の原因として最尤推定を使用しています。