目录
一：简介
机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。在实现人工智能时需要人工辅助(半自动)，而深度学习使该过程完全自动化
举例说明，如通过机器学习算法来识别动物是猫还是狗，需要人工输入动物的特征数据，生成一定的算法模型，进而可以准确预测具有这些特征的动物的类型，而深度学习则能自动地去发现特征进而判断
人工神经网络(Aritificial Neural Network,ANN)，简称神经网络(Neural Network,NN)或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一个自适应系统，通俗的讲就是具备学习功能
二：感知器
提出了最早的“人造神经元”模型，叫做“感知器”
neuron：神经元
dendrites：树突，位于神经元末端的细分支，接收其他神经元传来的信号
axon：轴突(神经细胞的突起，将信号发送到其他细胞)
输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可类比为细胞核
三：权重和阈值
权重：各种因素很少具有同等重要性：某些因素决定性因素，另一些因素是次要因素。因此，可以给这些因素指定权重(weight)，代表它们不同的重要性
阈值：因素和权重的总和大于阈值，感知器输出1，否组输出0
感知器 - 权重和阈值：
1.本神经元接收到来自N个外界(或者其他神经元)的输入信号
2.这些输入信号通过带权重的连接进行传递，给本神经元
3.本神经元接收到的总输入将于本神经元的阈值进行比较
4.比较后，通过“激活函数”处理，产生输出
感知器弊端：感知器网络只能处理线性问题(二分类问题)，无法处理非线性问题(异或问题)
四：多层前馈网络
解决非线性问题
相比感知器多了一层隐藏层，每个隐藏层中有多个神经元
隐藏层：除输入层和输出层以外的其他各层叫做隐藏层，不直接接收外界的信号，也不直接向外界发送信号
三层前馈网络，输出的结果不是值，而是概率
多层前馈网络 弊端：需要计算的参数太多，导致训练的时间过长，网络稍微深一些(多个隐藏层)，就需要大量的训练时间
原因：网络中的数据流向是单向的，只会按照输入层-隐藏层-输出层的顺序流动
五：BP神经网络
BP反向传播算法，系统地解决了多层网络中隐藏单元连接权的学习问题，明确否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义
BP神经网络：相对于前馈网络，BP神经网络是为了解决神经网络多层学习问题
BP算法全称为误差反向传播，其算法基本思想为：是前馈网络中，输入信号经过输入层输入，通过隐藏层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整
BP算法流程
大致流程为：
正向传播FP(求损失)：根据输入的样本，给定的初始化权重值W和偏置项的值b，计算最终输出值及输出值与实际值之间的损失值，如果损失值不在给定的范围内则进行反向传播的过程，否组停止W,b的更新
反向传播BP(回传误差)：将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即为修正各个单元权值的依据
BP算法 整个过程为
首先进行一次正向传播：输入层--》隐藏层--》输出层
根据对比输出结果和目标的误差
反向计算层传递权值的误差
调整权值
再进行一次正向传播
反复迭代，实现目标拟合