关于softmax回归

softmax的思想是为神经网络定义新类型的输出层。它开始的方式和sigmoid层(符号层？)一样，通过形成加权来输入：

但是我们不使用sigmoid函数来获得输出，而是在softmax层将softmax函数应用到
根据这个函数，第j个输出神经元的激活(activation)就为(记为式子1)：
‘
在分母中，我们对所有输出神经元求和。
假定我们有一个具有4个神经元的神经网络，分别表示为
如图：

当增加，的值也会增加，然后其他3个输出值将会减少

通过多次增加或减少的操作实践，可以发现输出的值的和总等于1。然后就可以得到式子2：

式子1意味着输出激活都是正的，因为指数函数是正的。然后，根据softmax层的输出是一组正数，总和为1，我们认为softmax的输出层是概率分布。
这样做的一个问题是：很容易把输出的激活解释为神经网络的概率，正确的输出应该是j。比如，在MNIST分类问题中就会出现这样的问题。
相反，如果输出层是sigmoid 层，那么我们就不会假设激活会形成概率分布。因为从sigmoid 层一般不会形成概率分布。