在深度学习中经常用到的一个概念是 KL散度。之前对KL散度进行过一次理解，但后来随着利用次数的减少，开始忘却其具体的定义与物理意义，仅在印象中记得是“描述两个分布的相似度的度量”。这个描述并不准确。为了便于以后查找回顾，这里再次把KL散度的相关理解整理下来。
KL 散度,全称 Kullback-Leible divergence, 是用于度量一个拟合分布Q与标准分布P的差异的一种方法，它是非对称的，这意味着. 其中
可以理解为Q分布与P分布的差异，或者信息损失。
介绍KL散度之前，先介绍信息熵的概念
参考资料