版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_30354455/article/details/80492997
仍然是邮件分类问题。
如果正负样本是上图那样分布，我们可以使用特征交叉乘积轻松地对邮件分类。但是稍微复杂的分布又要怎么样呢？
分布可能很复杂，但是我们还是希望有某种方法让模型自动学习非线性规律，而不用我们手动为其指定参数，这种方法就是——深度神经网络。
深度神经网络——可以非常出色地处理复杂数据（图像数据，音频数据，视频数据等）
如何让模型自动学习非线性规律，而不用我们手动为其指定参数？？——我们可能需要给模型添加一些额外的结构。
线性模型如上图所示，如果我们想要得到非线性规律，则需要在线性模型再添加一个层。
第二层再以线性范式相结合。。。。但是，因为线性函数的线性组合仍然是线性的，也就是说我们仍未实现任何非线性规律！！
所以很明显，我们需要再加一层，对吧？——恩。。再加一层后，该模型依然是线性模型——因为即便添加多少的分层，所有的线性函数的组合仍然是线性的！
那么我们就要从其他方面下手了——另辟蹊径——添加非线性函数的层。
这种非线性函数可以位于任何晓得隐藏式节点的输出中。
ReLU会接受线性函数，并在零值出将其截断。
1、如果函数返回值是大于0 的，则为线性函数；
2、如果函数返回值是小于0 的，则输出为 0 ；
ReLU是一种最简单的非线性函数，我们可以用它来创建非线性模型。
我们也可以使用其他的非线性函数，但ReLU可以说以及足够了，它能提供关于很多问题的先进研究成果，而且操作简单。
现在，当我们训练这些神经网络是，很明显，我们面临的是非凸优化问题，因此可能需要初始化。
我们训练这些神经网络是使用的方法叫“反向传播” ，它是梯度下降法的变形。通过反向传播，我们能够以合理高效的方式，对非凸优化问题执行梯度下降。