softmax

对于神经元间的非线性变化可以使用softmax函数：

可以看出对于某一层的神经元的所有值的和为1，这样的话每一个神经元的结构也可以表示成概率。

其对应的损失函数为：

可以看出来 损失函数随着a的值增大而变小。即a的概率越大（对应真实值）其损失越小。

而且对于网络学习过程中，其导数和cross-entropy的导数相似，cross-entropy的导数每层是平均值

通过其偏导数可以看出来a与y的值相差越大 其学习过程越快。所以softmax的性质很好。