激活函数、损失函数、优化函数都分别是什么？有什么作用？
下面，就以激活函数、损失函数、优化函数在神经网络中的作用，浅析一二。
利用神经网络进行分类、检测、分割等任务的关键，就是利用反向传播算法，求解神经网络，找到正确的W，b。
反向传播算法的过程如下：
也就是说：
激活函数：将神经网络上一层的输入，经过神经网络层的非线性变换转换后，通过激活函数，得到输出。常见的激活函数包括：sigmoid, tanh, relu等。https://blog.csdn.net/u013250416/article/details/80991831
损失函数：度量神经网络的输出的预测值，与实际值之间的差距的一种方式。常见的损失函数包括：最小二乘损失函数、交叉熵损失函数、回归中使用的smooth L1损失函数等。
优化函数：也就是如何把损失值从神经网络的最外层传递到最前面。如最基础的梯度下降算法，随机梯度下降算法，批量梯度下降算法，带动量的梯度下降算法，Adagrad，Adadelta，Adam等。https://blog.csdn.net/u013250416/article/details/81090059