深度学习实战四：全连接神经网络（基于Pytorch，含数据和详细注释）

概念

神经网络的第一层为输入层，最后一层为输出层，中间的所有层都叫做隐藏层

在计算神经网络层数时，一般不计算输入层，比如：

该神经网络的层数为2。输入层神经元有3个，隐藏层神经元有4个，输出层神经元有2个。

softmax与交叉熵

softmax
softmax函数又称归一化指数函数，是二分类函数sigmoid在多分类上的推广，是将多分类的结果以概率的形式展示。

softmax的作用是将输入映射到0-1之间，且保证所有的输入映射后的结果的和为1

下面是softmax函数的公式：

softmax