激活函数

激活函数（激励函数）：

定义：
    阈值函数 threshold function ：
      大于a——被激活

      小于a——没有激活

原因：

分类是0 1分类，不可微——用Sigmoid函数来代替——所以，NN的训练就可以用梯度下降来构造，这就是反向传播算法。

作用：
   就是将权值结果转化为分类结果
   如：将神经网络的权值8映射为类A，激励函数&（8）=0.7>0.5
目的：

   引入非线性因素（图2），解决线性模型（图1）不能解决的问题。

当线性不可分的时候：
   解决方案1：线性变换（图3） 
   解决方案2：引入非线性函数


分类：
   tanh——双切正切函数，取值范围[-1,1]
   sigmoid——采用S形函数，取值范围[0,1]
   ReLU——简单粗暴，大于0的留下，否则一律为0
   softmax——计算每个类别的可能性，经常被使用于神经网络的输出层；

              最后使用argmax函数得到：最大可能性的类。

softmax：

感谢：

https://www.zhihu.com/question/23765351/answer/240869755

1.定义：
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类。
2.引入原因：
梯度求导过程方便
3.区别max和softmax
max：假如有两个数a和b，并且a>b，如果取max，那么就直接取a，没有第二种可能。
  但：这样会造成，分值小的那个饥饿；所以，希望分值大的经常取到，分值小的偶尔被取到，用softmax
softmax：计算a和b的概率，a的概率>b的。sigmoid函数只能分两类，而softmax能分多类，softmax是sigmoid的扩展。

4.区别Logistic：

L回归是二分类问题，S是L的一般形式

PK：softmax分类器 或者 K个独立的二元分类器（K中类型分类）

（1）室内场景、户外城区场景、户外荒野场景：互斥——softmax分类器

    （2）室内场景、黑白图片、包含人物的图片：建立3个独立的Logistic分类器

感知机：

单层感知机

多个感知机的组合：

这样一个神经网络组合起来,输出的时候无论如何都还是一个线性方程，并没有达到非线性分类呢：

所以，引入激励函数，输出就是一个非线性函数啦：激励函数的引入，使得神经网络的表达能力强大。