经典神经网络

1 ResNet

核心思想：

解决了网络退化问题（Degradation: 随着深度增加，性能反而下降——求解器很难去利用深层网络拟合同等函数）

通过直接将input 信息绕道传输到输出，保证了input 信息的完整性，整个网络 只学习 input 和output 的差异，简化了学习目标和难度

shortcut connection/ skip connection:

浅层 building block  （ResNet 18, 34）与  深层 block（ResNet 50, 101, 152）；1 x 1 卷积核的引入：消减和恢复维度的同时，可以极大地减少参数。

当 input 和output 的维度不相同时如何连接：

1. 采用zero padding. 不会增加参数
2. 对 input 进行卷积操作（1x1），维度等=filter的数量，方便，但是会引入参数

结构：

VGG19 演化而来：

直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。ResNet的一个重要设计原则是：当feature map大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度

参考解析：

http://www.cnblogs.com/alanma/p/6877166.html

https://blog.csdn.net/lanran2/article/details/79057994