为什么在分类问题中使用交叉熵loss函数

在Logisitic Regression(逻辑回归)问题中,机器学习的函数模型不使用最直观的平方差作为Loss函数的原因请见下图:

  • 当loss函数为平方差的时候(红色网格):在total loss很大的情况下(四个角),loss函数的梯度几乎为0(网格非常平坦),导致学习速率非常缓慢
  • 相比之下,当loss函数为交叉熵的时候(黑色网格):在total loss很大的情况下(四个角),loss函数的梯度非常大(网格非常陡峭),导致学习速率也很快
    在这里插入图片描述

おすすめ

転載: blog.csdn.net/m0_49963403/article/details/121730449