欢迎转载，请注明出处：https://blog.csdn.net/tayhh/article/details/82083726
1.神经网络来源：
对生物神经网络的模仿,抽象出生物神经网络中的神经元与连接的概念，不同的是人工神经网络间的链接是固定的，而生物神经网络的链接不是固定的。
2.Neural Networks重要元素：
①NN由多层神经元构成；
②必不可少的3层是：
a.输入层：接受信息，以0或1的形式；
b.输出层：输出对事物的认知，以0或1的形式；
c.隐藏层：加工、处理信息；
另外，每个神经元都有一个刺激函数；NN正向传播输出预估值，再反向传播预估值与真实值的误差，指导神经元向着正确方向改动
3.Convolutional Neural Networks:
①图像识别与自然语言处理领域应用较成熟；
②卷积对图像中一小块元素进行过滤；
③传统卷积：缩小图像长、宽，增加高度，准确度不高；后来，与pooling模块合作，卷积负责增加高度，pooling负责缩小长、宽
④CNN工作流程：image->cnn->max pooling->cnn->max pooling->fully connection->fully connection->classifier
4.Recurrent Neural Networks:
①语言分析、序列化数据领域较成熟；如描述照片、写论文、写脚本、作曲；
②一般的NN，忽略了序列数据之间的关联，而RNN弥补了这一点；
5.Long Short-Term Memory in RNN:
①主流的RNN形式;
②RNN难以控制久远记忆，反向传递过程中：要么梯度消失，要么梯度爆炸；
③LSTM RNN增加3个控制器弥补不足：输入控制器、忘记控制器、输出控制器；
6.未完待续。。。，下一篇介绍如何用Python构造上述神经网络~~