神经网络对于深度学习是十分重要的，线性回归做预测，逻辑回归做分类，神经网络是用来做预测的，预测和分类都属于机器学习
多元线性回归是线性的模型，需要对点进行拟合，要找直线的最优解，要评估误差损失最小的时刻，一般直线无法穿过所有的点，如何更完美的穿过所有的就用到多项式回归
非线性数据变成线性数据
如果数据变化是非线性的，那么选用线性的算法的拟合效果就不会太好，拟合的结果就不会太高，分类或者预测的效果就不会特别高
1.直接变换数据
2.选择非线性的算法，达到拟合的效果(神经网络就是非线性的算法，神经网络可以是十分复杂，非线性的算法可以解决更加复杂的问题，深度学习的时候的基础就是神经网络)
深度学习就是神经网络(卷积神经网络或者人工神经网络)的层级比较多
神经网络就是仿生物的一种算法，是实在的拟人的一种算法
神经网络解析
1.一只猫的神经元大约有10亿个，一只老鼠约有7500万个，一只蟑螂约有100万个神经元，相比之下，许多人工神经网络只有几百个神经元
2.机器学习往往只是为了解决某一个特定的问题，人工智能也是要专门用来识别某些特定的功能的方式，每个不同的方面需要不同的算法或者模型去单独负责，所以一个人工智能需要很多的算法或者模型去组成
人工神经网络
人工神经网络（ANN：Artificial Neural Network），简称神经网络（NN：Neural Network）。迄今为止，人工神经网络尚无统一定义，其实一种模拟了人体神经元构成的数学模型，依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的
上图显示了人工神经网络是一个分层模型，逻辑上可以分为三层：
-
输入层：输入层接收特征向量 xx。
-
输出层：输出层产出最终的预测 hh。
-
隐含层：隐含层介于输入层与输出层之间，之所以称之为隐含层，是因为当中产生的值并不像输入层使用的样本矩阵 XX 或者输出层用到的标签矩阵 yy 那样直接可见。
如果神经网络内的线性全是多元线性回归的算法的组合，那么组合还是线性的就是不好的
从生物神经元到人工神经元
-
激活函数：将神经元的净输入信号转换为单一的输入信号，以便进一步在网络中传播(实际上每一个神经元单独拆开来看，一个神经元就是单独的一个逻辑回归函数)
-
网络拓扑：描述了模型中神经元的数量以及层数和他们的连接方式
-
训练算法：指定如何设置连接权重，以便抑制或增加神经元在输入信号中的比重
激活函数
1.动物的神经元
一般就是step function阈值函数
2.机器的神经元
线性函数、阶跃函数、斜坡函数、S 型函数、双曲正切函数、高斯函数
神经网络要考虑的基本要素有哪些？
激活函数的选择，对应神经元里的逻辑，两部分，相乘和相加和非线性的变化，相乘相加是固定不变的，非线性的变化可以有很多选择，需要根据实际的效果来
处理更加复杂的逻辑，就需要更多的网络拓扑结构，需要设置更多的人工神经元，在去求解神经网络模型的时候w，w1,wn的时候选择什么样的优化算法(随机梯度下降一样适用)
激活函数有哪些？
常用的函数有(更完全的拟人)
-
sigmod函数，[0,1]的取值范围
-
Tangent函数，[-1,1]的取值范围
-
Relu函数,max(0,x)的逻辑