深度学习——恒等函数和softmax函数

恒等函数softmax函数这两个函数多用于输出层的激活函数

其中分类问题多用softmax函数,回归方程多用恒等函数

ps:分类问题可类比为分类图像,比如区分人,车,手机等物体;

     回归问题可类比为房价和地区,大小等因素成正比

1. 恒等函数:输出=输入

2. softmax函数:输出为一个函数

其中exp为指数函数,ak代表第k个输出神经元的输入,ai代表第i个输出神经元的输入,公式分子表示ak的指数函数,分母表示所有输出神经元的输入指数函数的和

2.1 softmax函数的注意事项

在计算指数时,比如e的5000次方,数据将会非常大,计算机处理“数”时,数值必须在4字节或8字节的有限数据宽度内,超出的数据则会显示为无穷(inf),所以要对softmax函数进行改进,防止数据的溢出

如图中,将分子分母同时乘以C,然后将C提进指数函数中,图中用的logC理解成数学中的lnC,然后用C'代替logC,通过控制C'来控制exp函数中的指数,来实现softmax函数不因为数据过大而出错

2.2 softmax函数意义

通过公式我们可以知道softmax函数得出的结果的和为1,换一种说法,即每个输出神经元的输出是这个神经元的概念,比如现在有两个神经元,y1输出为0.2,y2输出为0.8,则代表y1的概率为20%,y2的概率为80%,若y1代表汽车,y2代表人,则表示有80%概率是人

发布了26 篇原创文章 · 获赞 26 · 访问量 7万+

猜你喜欢

转载自blog.csdn.net/IOT_player/article/details/82949866