【机器学习】KL-divergence（KL散度）的理解

KL-divergence（KL散度）的理解

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值

参考： KL散度的含义与性质

KL散度的应用

参考：进阶详解KL散度