【機械学習】KLダイバージェンス（KLダイバージェンス）の理解

KLダイバージェンス（KLダイバージェンス）の理解

カルバック・ライブラー発散または情報発散としても知られる相対エントロピーは、2 つの確率分布間の差の非対称な尺度です。情報理論では、相対エントロピーは、2 つの確率分布の情報エントロピー (シャノン エントロピー) の差に相当します。

参考：KLダイバージェンスの意味と性質

KLダイバージェンスの応用例

参考：KLダイバージェンスの上級詳細解説