感知机–多层感知机 MLP–神经网络
感知机也叫感知器
简单感知机是一个单层神经网络。它使用阈值激活函数
叠加了多层的感知机也称为多层感知机(multi-layered perceptron)
一般而言, “朴素感知机”是指单层网络, 指的是激活函数使用阶跃函数的模型; “多层感知机”是指神经网络,即使用平滑的非线性激活函数的多层网络
神经网络中的神经元的祖先是感知器
前馈网络
数据进入输入层, 然后逐层通过网络,最终达到输出层.在此过程中,各层之间没有相互反馈.因此, 这些网络称为前馈神经网络
信息流通常是从输入到输出，目前没有反馈或跳转，因此这些网络也被称为前馈网络
正向和反向传播(反向传播算法)
反向传播（BPN）算法它用于将输出层中的误差传播到隐藏层的神经元，然后用于更新权重。
反向传播算法的目的是, 使网络的实际输出值和正确输出之间的误差最小
BPN 算法可以分成以下两个过程：
1、正向传播：输入被馈送到网络，信号从输入层通过隐藏层传播到输出层。在输出层，计算误差和损失函数。
2、反向传播：在反向传播中，首先计算输出层神经元损失函数的梯度，然后计算隐藏层神经元损失函数的梯度。接下来用梯度更新权重。
这两个过程重复迭代直到收敛
隐藏层
神经网络的层由输入层、中间层和输出层构成, 中间层又叫隐藏层, 即神经网络中间的所有层, 例如池化层等
含有足够多隐藏层的前馈神经网络可以在一定精度内拟合以下类型的函数:
1、任何连续函数, 需要一个隐藏层
2、任何函数,甚至是不连续的, 需要两个隐藏层
Hornik 等人的工作（http://www.cs.cmu.edu/~bhiksha/courses/deeplearning/Fall.2016/notes/Sonia_Hornik.pdf）
证明了一句话，“只有一个隐藏层的多层前馈网络足以逼近任何函数，同时还可以保证很高的精度和令人满意的效果。”
损失函数
激活函数
