•激活函数用于决定如何激活输入信号的总和,激活函数会将输入信号的总和转化为输出信号。
•输出层的激活函数根据实际问题决定,一般
回归问题使用恒等函数,
二元分类使用sigmoid函数,
多元分类使用softmax函数。
•防止softmax函数溢出的策略通常是 每个值都减去数组中的最大值,再进行softmax运算,结果不发生改变。
原理如下:
扫描二维码关注公众号,回复:
9530526 查看本文章
•激活函数用于决定如何激活输入信号的总和,激活函数会将输入信号的总和转化为输出信号。
•输出层的激活函数根据实际问题决定,一般
回归问题使用恒等函数,
二元分类使用sigmoid函数,
多元分类使用softmax函数。
•防止softmax函数溢出的策略通常是 每个值都减去数组中的最大值,再进行softmax运算,结果不发生改变。
原理如下: