KL散度

KL散度是两个概率分布P与Q差异的一种方法：

1.离散概率分布KL散度计算公式

2.连续概率分布KL散度计算公式

KL散度可以很好地度量两个分布之间的距离，两个分布越接近，KL散度越小，两个分布越远，KL散度越大。