激活函数汇总（最近更新：2019/10/20）

〇、写在前面

本文对笔者学习过程中用到的激活函数做一个汇总，在需要复习的时候看这篇文章就够了。参考的资料过于繁杂这里不再列出。

一、机器学习

二、深度学习相关

2.1 sigmoid

$y=\frac{1}{1+e^{-z}}$

2.2 tanh

$g(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$
$g'(x)=1-[g(x)]^2$

2.3 relu

$y=max(0,z)$

2.4 softmax

$\operatorname{softmax}(z)_{i}=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}$
对多类别分类，概率和为1