KL散度（ KL divergence, Kullback-Leibler divergence）定义：描述两个概率分布Q(x)和P(x)相似度的一种度量，记作D(Q||P)。
（1）对离散随机变量，KL散度定义为
（2）对连续随机变量，KL散度定义为
容易证明KL散度具有性质：。当且仅当Q=P时，
。
事实上，利用Jense不等式即得：
KL散度是非对称的，也满足三角不等式，不是严格意义上的距离度量
【学习记录】KL散度的定义
猜你喜欢
转载自blog.csdn.net/Jessicaxu123/article/details/130244173
今日推荐
周排行