1.舍入误差
下溢：
接近零的数被四舍五入为零时发生下溢
避免被零除
避免取零的对数
上溢：
大量级的数被近似为∞ 或 −∞ 时发生上溢
softmax 函数对上溢和下溢进行数值稳定
2.病态条件
输入中的舍入误差可能导输出的巨大变化
扫描二维码关注公众号，回复：
4256404 查看本文章
考虑函数 f(x) = A −1 x。当 A ∈ R n×n 具有特征值分解时，其条件数为
这是最大和最小特征值的模之比 1 。当该数很大时，矩阵求逆对输入的误差特别敏感
这种敏感性是矩阵本身的固有特性