参考:https://blog.csdn.net/tsyccnh/article/details/79163834
参考:https://blog.csdn.net/zxyhhjs2017/article/details/78619756?utm_source=blogkpcl1
参考:
1.信息量:一个离散型随机变量,其中某个事件发生的概率越低,信息量越大。
2.熵:信息量的期望。
3.KL散度:描述两个概率分布的相似程度。
4.交叉熵:KL散度计算公式的后半部分
5.机器学习中:p是标准的分布,q是网络进行训练时得到的分布。用交叉熵作为loss函数处理逻辑分类问题。
单分类(图像中的物体A是{a,b,c}中的一种):直接计算。
多分类(图像中有多个物体,计算是否有a,是否有b,是否有c):n-hot编码,每一位是二项分布,用sigmoid