Relu的缺点

Relu不适合梯度过大的的输入

Relu是我们在训练网络时常用的激活函数之一(对我而言没有之一)。然而最近发现Relu太脆弱了,经常由于输入的函数梯度过大导致网络参数更新后,神经元不再有激活功能。特别是网络在训练刚开始的时候(如果在使用Focal loss,这种现象更容易发生)。
在这种情况下,或许softplus可以尝试一下。相关资料请移步softplus(softplus)

猜你喜欢

转载自www.cnblogs.com/double-t/p/10923877.html
0条评论
添加一条新回复