目录
神经网络
神经元是神经网络中的基础单元。
神经元模型——MP-模型
将许多神经元按一定的层次结构连接起来，即为神经网络。
一个神经元的功能是求得输入向量和权向量的点积后，经一个非线性传递函数得到一个标量。
一个简单的神经元如图：
（图源网络）
其中：
- X1,X2,X3...Xn为各个输入的分量
- Wj1,Wj2,Wj3...Wn为各个输入分量对应的权值参数
- θ为偏置
- f为激活函数
- Yi为神经元的输出
数学公式即为：
1.单层神经网络
最基本的神经网络形式，由有限个神经元构成，所有神经元输入的向量都是同一个向量，每个神经元都会产生一个标量，所以单层神经元的输出是一个向量，向量维数等于神经元数目。
如图：
（（图源网络），由四个感知机构成的）
2.感知机（两层神经网络）
输入层是接收外界输入信号后传递给输出层，输出层是M-P神经元。
作用：
将一个n维空间分成两部分，给定一个输入变量，可以判断输出的结果是在两部分中的哪一部分。
➡二分类模型，给定阈值，判断数据属于哪一部分
公式：
3.多层神经网络
单层神经网络叠加的结果。
结构：
- 输入层：众多神经元接受大量消息，输入的消息称为输入向量。
- 输出层：输出的消息称为输出向量。
- 隐藏层（隐层）：是输入层和输出层之间众多神经元和链接组成的各个层面，可以有一层或多层，隐层的神经元数目不定，但数目越多的神经网络的非线性越显著，从而神经网络的强健性更显著。
（图源网络）
全连接层
当前层和前一层每个神经元相互链接，则称这一层为全连接层。
全连接层就是在前一层的输出的基础上进行一次Y = Wx + θ
4.激活函数
在感知机的基础上加上非线性激活函数后，输出的结果就不再是一条直线。
- f(x1+x2) = y1+y2 或 f(kx1) = ky1 此类都叫线性函数
作用：增加模型的非线性分割能力，提高模型的稳健性、缓解梯度消失、加速模型的收敛
- sigmoid只会输出正数，靠近0的输出变化率大
- tanh可以输出负数
- Relu只能输入大于0的（常用于输入为图片格式）
深度学习的思想：
输入最原始、最基本、最简单的数据，通过模型来进行特征工程，进行更加高级的特征学习，然后通过传入的数据来确定合适的参数，让模型更好的拟合数据。