1. cnn
- 卷积运算：对应位置相乘再相加求和，即为卷积值：
1 feature_map1(1,1) = 1*1 + 0*(-1) + 1*1 + 1*(-1) = 1
2 feature_map1(1,2) = 0*1 + 1*(-1) + 1*1 + 1*(-1) = -1
3 ```
4 feature_map1(3,3) = 1*1 + 0*(-1) + 1*1 + 0*(-1) = 2
- 卷积后尺寸：
feature_map尺寸计算公式：[ (原图片尺寸 -卷积核尺寸)/ 步长 ] + 1
（4 - 2）/1 +1
- Filter1是垂直卷积核，Filter2是水平卷积核。卷积核有很多种。
（会在越靠近输入层的卷积层设定少量的卷积核，越往后，卷积层设定的卷积核数目就越多）
- 池化层
通过降采样的方式，在不影响图片质量的情况下，压缩图片，减少参数。
池化方法一般有两种：
· MaxPooling：取滑动窗口里最大的值
· AveragePooling：取滑动窗口内所有值的平均值
- Zero Padding
为了保证每次经过卷积或池化输出后图片的大小不变？
- Flatten层用来把数据拍平
做完Max Pooling后，我们就会把这些数据“拍平”，丢到Flatten层，然后把Flatten层的output放到full connected Layer里，采用softmax对其进行分类
- 超参数：
零补充，核尺寸，步长，核数量
- 防止梯度消失或者梯度爆炸：
归一化，都往中间靠一靠。
- 梯度消失、爆炸的解决方案
预训练加微调。梯度剪切。
ReLu函数是怎么解决梯度消失问题的？（
-- 由于负数部分恒为0，会导致一些神经元无法激活（可通过设置小学习率部分解决） -- 输出不是以0为中心的
求导是1啊，怎么就非线性了？就是个滤波啊，效果为啥就好了？）
- 防止过拟合
2. rnn
每个节点两个输入，两个输出。每层都有个_LSTM_O，前面27个是为了最后一个（28）输出做准备。