版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lanchunhui/article/details/82084478
- underflow:浮点数下溢,数值逼近 0 时出现;
- 0 作除数,
- 对 0 取对数;
- overflow:浮点数上溢,数值逼近无穷大时出现;
- 浮点数溢出,不论是上溢还是下溢,会使得最终的结果 Undefined(比如为 NaN),或者跟真实的结果相差很大的量级;
1. softmax 函数
softmax 函数用于预测多分类问题,各个类别的概率输出。
当 全部相等为 ,则经过 softmax 函数的变换,各个类别的输出均为 ,这是理想的情况。但在计算机浮点计算时,当 :
- 是很大的负数时, 逼近 0,分母逼近 0,下溢,结果未定义;
- 是很大的正数, 上溢;结果未定义;
上溢还是下溢均可通过如下的简单变换解决:
- 中的某一项为 0,则分母中至少有一项为 1,避免了浮点数的下溢;
- 减去最大值,避免了可能的浮点数的上溢;