机器学习中为什么交叉熵（cross-entropy）可以用于计算代价（转自知乎）

为什么交叉熵（cross-entropy）可以用于计算代价？ - 阿萨姆的回答 - 知乎 https://www.zhihu.com/question/65288314/answer/244557337

总结如下：

1. 熵用来表示一个事件含有的信息量，独立事件的信息量可以叠加。
2. KL散度用来表示从事件A的角度看，事件B有多大不同。一般被用来计算两个分布之间的不同（也叫KL距离）。
3. 在一定条件（A固定不变）下，交叉熵 = KL散度
4. 机器学习希望 模型学到的分布 和 真实数据的分布 越接近越好。真实数据的分布使用训练数据（样本）的分布代替。所以目标函数可以设为最小化交叉熵。当然为了防止过拟合可以加上范数。