版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_36890572/article/details/82716696
1.神经网络是什么？
- 神经网络是一种计算模型，由大量的节点(或神经元)直接相互关联而构成；
- 每个节点(除输入节点外)代表一种特定的输出函数(或者认为是运算)，称为激励函数；
- 每两个节点的连接都代表该信号在传输中所占的比重(即认为该节点的“记忆值”被传递下去的比重)，称为权重；
- 网络的输出由于激励函数和权重的不同而不同，是对于某种函数的逼近或是对映射关系的近似描述；
- 说明：在部分网络中，存在偏置项，即对于权重求和结果的修正，描述为:
2.神经网络分类
- 前馈神经网络：在网络中，当前层的输入只依赖于前一层的节点输出，与更早的网络输出状态无关；
- 反馈神经网络：将输出经过一步时移再接入到输入层，输入不仅仅取决于上一层节点的输出；
分类如图：
3.神经网络做什么？
(1) 感知器
网络结构图：
其中，g为激活函数，在感知器中，激活函数为sgn(取符号函数)
网络的最终输出为：
感知器可以实现最基本的模式分类问题；
(2) 两层神经网络
扫描二维码关注公众号，回复：
3525617 查看本文章
网络结构为：
其中，g函数为激活函数，为sigmoid函数；
网络训练过程：
a.初始化权重，通过前向传播，计算网络的输出；
b.使用代价函数衡量当前的预测与真实值的误差；
c.使用梯度下降，将误差反向传播(链式法则)，修改网络权值；
d.循环，直到网络误差达到目标要求停止，应用训练好的模型对测试样本训练；
(3)多层神经网络(深度学习)
在两层神经网络的基础上，增加隐层的数量，从而提升网络的深度，加强网络预测的能力；
在多层神经网络中，采用Relu函数作为其激活函数；