交叉熵，KL散度等

转自：https://blog.csdn.net/tsyccnh/article/details/79163834

熵是信息量的期望

开机一千次，得到的信息量预估是0.804*1000。

相对熵：

两个概率分布之间的信息量的差，对这个差关于某个概率分布求期望。