---恢复内容开始---
MSE(Mean squared deviation: 均方误差)作为损失函数很好理解， 表示为输出与输入的差值平方， 最小化MSE就是使输出的标签与正确的标签尽可能的相似， 这很容易懂。但是交叉熵为什么能做损失函数呢？
- 熵的由来
各种熵的名称都来自信息论领域， 表示的是接收的消息中信息的平均量， 就是信息量的大小。直观的来说信息熵表示一个事物的非确定性， 如果事物的非确定性非常高， 该事物的信息量就非常大， 相应该事物的信息熵就越高。
---恢复内容结束---
MSE(Mean squared deviation: 均方误差)作为损失函数很好理解， 表示为输出与输入的差值平方， 最小化MSE就是使输出的标签与正确的标签尽可能的相似， 这很容易懂。但是交叉熵为什么能做损失函数呢？