KL散度(KL divergence, JS divergence)

在信息论和概率论中，KL散度描述两个概率分布\(P\)和\(Q\)之间的相似程度。
定义为：
\[ D(p||q)=\sum\limits_{i=1}^np(x)\log\frac{p(x)}{q(x)}. \]