tensorflow损失函数之:softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits_v2的区别

版权声明:微信公众号:数据挖掘与机器学习进阶之路。本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013230189/article/details/82777464
tf.nn.softmax_cross_entropy_with_logits(

    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)


tf.nn.softmax_cross_entropy_with_logits_v2(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
   name=None
)

 

计算 softmax(logits) 和 labels 之间的交叉熵

参数:_sentinel -->内部,一般不使用。

            labels       --> 真实数据的类别标签

            logits        -->神经网络最后一层的类别预测输出值

            dim           --> 类维度。默认为-1,这是最后一个维度。

官方文档已经标记出softmax_cross_entropy_with_logits已经是deprecated 状态,推荐使用softmax_cross_entropy_with_logits_v2。softmax_cross_entropy_with_logits_v2与softmax_cross_entropy_with_logits的区别在于softmax_cross_entropy_with_logits在进行反向传播的时候,只对logits进行反向传播,labels保持不变。而softmax_cross_entropy_with_logits_v2在进行反向传播的时候,同时对logits和labels都进行反向传播,如果将labels传入的tensor设置为stop_gradients,就和softmax_cross_entropy_with_logits一样了。 
那么问题来了,一般我们在进行监督学习的时候,labels都是标记好的真值,什么时候会需要改变label?softmax_cross_entropy_with_logits_v2存在的意义是什么?实际上在应用中labels并不一定都是人工手动标注的,有的时候还可能是神经网络生成的,一个实际的例子就是对抗生成网络(GAN)。

labels=tf.constant([[1,0,0,0], [0,1,0,0],[0,0,1,0], [0,0,0,1] ],dtype=tf.int32)
logits=tf.Variable(tf.random_normal([4,4]))
loss=tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=logits)
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss))

猜你喜欢

转载自blog.csdn.net/u013230189/article/details/82777464