1.使用神经网络解决分类问题步骤：
1、 提取问题中实体的特征向量作为神经网络的输入。
2、 定义神经网络的结构，并定义如何从神经网络的输入得到输出
3、 通过训练数据来调整神经网络的参数的取值
4、 使用训练好的神经网络来预测未知数据
2.在TensorFlow中一个变量的值在被使用之前，这个变量的初始化过程需要被明确地调用
3.监督学习
监督学习最重要的思想就是，在已知答案的标注数据集上，模型给出的预测结果要尽量接近真实的答案。通过调整神经网络中的参数对训练数据进行拟合，可以使得模型对未知的样本提供预测的能力。
4.深度学习两个重要特征：多层、非线性
5.分类问题和回归问题
分类问题：希望解决的是将不同的样本分到事先定义好的类别中。
回归问题：解决的是对具体问题的预测，如房价预测，销售预测。–均方误差
6.交叉熵：作为刻画预测值和真实值之间差距的损失函数.
损失函数：刻画了神经网络需要优化的目标
7.反向传播
反向传播；（BP）算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束
8.梯度下降算法：
梯度下降算法不断沿着梯度的反方向让参数朝着总损失最小的方向更新（得到局部最优解）
综合梯度下降算法太费时间，随机梯度下降算法可能无法达到局部最优
解决：每次计算一小部分训练数据的损失函数。batch
梯度下降算法主要用于优化单个参数的取值。
而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法。
9.神经网络的优化
第一阶段：先通过前向算法计算得到预测值，并将预测值和真实值做对比得出两者之间的差距
第二阶段：通过反向传播算法计算损失函数对每一个参数的梯度，在根据梯度和学习率使用梯度下降算法更新每一个参数
10.学习率：学习率决定了参数每次更新的幅度。—-指数衰减法
11.过度拟合：指的是当一个模型过为复杂之后，它可以很好的“记忆”每一个训练数据中随机噪音的部分而忘记了要去“学习”训练数据中通用的趋势—正则化
12.正则化：基本思想是希望通过限制权重的大小，使得模型不能任意拟合训练数据中的随机噪音
13.滑动平均模型：在采用随机梯度下降算法训练神经网络时，使用滑动平均模型在很多应用中都可以在一定程度提高最终模型在测试数据上的表现
14.卷积层：卷积层中每个节点的输入只是上一层神经网络的一小块，经过卷积层之后的节点矩阵的深度会增加
15.池化层：池化层神经网络不会改变三维矩阵的深度，但是他可以缩小矩阵的大小。可以进一步缩小最后全连接层中节点的个数从而达到减少整个神经网络中参数的目的
16.迁移学习：所谓迁移学习，就是将一个问题上训练好的模型通过简单的调整使其适用于一个新的问题。