在Logisitic Regression(逻辑回归)问题中,机器学习的函数模型不使用最直观的平方差作为Loss函数的原因请见下图:
- 当loss函数为平方差的时候(红色网格):在total loss很大的情况下(四个角),loss函数的梯度几乎为0(网格非常平坦),导致学习速率非常缓慢
- 相比之下,当loss函数为交叉熵的时候(黑色网格):在total loss很大的情况下(四个角),loss函数的梯度非常大(网格非常陡峭),导致学习速率也很快
在Logisitic Regression(逻辑回归)问题中,机器学习的函数模型不使用最直观的平方差作为Loss函数的原因请见下图: