明确softmax交叉熵是干啥的:
我们识别一个图片中的手写数字 ,比如7 ,经过训练我们得到一个预测值,使用onehot表示就是
[ 0 , 0, 0 ,0,0,1,0,1, 0, 0] //第6个位置是1,代表预测是5
这显然不准确
如果我们现在使用softmax交叉熵去优化的话,就能实现如下效果:
我们预测值里面的 1 ,会不断地接近第8个位置,也就是正确的值7
最终会成为
[0,0,0,0,0,0,0,0,1,0,0] //正确
但是,我举个例子,如果一个图片里面有 4个数 , 我们想把这四个数给识别出来
我们的预测值是:
[
[0,0,0,0,0,0,0,0,0,1]
[0,1,0,0,0,0,0,0,0,0]
[0,0,0,0,1,0,0,0,0,0]
[0,0,0,0,0,0,1,0,0,0]
]
但是正确答案是:
[
[0,0,0,0,0,0,1,0,0,0]
[0,0,1,0,0,0,0,0,0,0]
[0,0,0,0,0,1,0,0,0,0]
[0,0,0,0,0,1,0,0,0,0]
]
我们要想使用softmax进行优化,必须要求是一个一维的数组,也就是,我们不得不把这四个预测值合并成一个一维向量。
[0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0]
但是,这种情况,我们应该让 1 ,怎样逼近实际的1的位置呢?softmax做不到这种优化。
总结: softmax优化不适合这种多特征的优化
解决方案: 使用sigmoid 交叉熵