Classic networks：
- LetNet-5 1980
- AlexNet
- VGG
ResNet
Inception
LetNet-5
AlexNet
AlexNet 采用的多GPU运行。
VGG-16
在这之前模型结构中卷积层的输入图像都没有进行Padding。
在这里[CONV 64] * 2 代表有两个卷积层然后在接后面的池化层。该网络共有16个权重层（卷积层＋全链接层）
ResNet
越深的网络，训练起来越困难，会遇见梯度消失或者梯度爆炸的问题，所以ResNet 引入了跳跃连接(skip connection)。
ResNet 是由多个 Residual block 构成的，那么什么是 Residual block 呢？见下图。
那么残差网络（ResNet）与传统卷积网络（Plain Network）相比，效果如何，如图：
对于传统CNN：理论上，随着网路层数的增加，训练误差应该越来越低，如图（左下角）绿色实线所示；但是，在实践中随着网络层数的增加，当训练误差降低到一定程度后，不但不降低，反而越来越大，如图（左下角）蓝色实线所示。