神经网络模型的优化目标是通过损失函数(loss function)来定义的。交叉熵作为分类任务中经典的损失函数，本文将介绍其原理。
分类问题损失函数
分类问题和回归问题是监督学习的两大种类。在分类问题上，通过神经网络解决分类问题常用的方法是设置n个输出节点，n为类别的个数。这时候需要判断输出指标，损失函数解决了该如何确定一个输出向量和期望的向量有多接近的问题。
熵
熵的本质是香农信息量的期望。
交叉熵
交叉熵刻画的是两个概率分布的距离，即通过概率分布q表达概率分布p的困难程度。我们通常以向量的形式表征p和q两个概率分布，那么问题就转化为向量p和q之间的距离有多近。
衡量向量见距离最常用的是一范数或二范数（方差代价函数），我们从二范数说起：
