回顾8年前的AlexNet

2011年的ImageNet图像分类比赛被AlexNet屠榜．

１．证明了－－－－增加网络层数，使模型结构更复杂，可以得到拟合能力更强的模型．

２．激活函数使用Relu

３．Data Argumention，数据扩充　，丰富多样了训练集数据，减轻模型对imageNet数据集的过拟合，训练得到更强大的模型

４．使用Dropout正则化，降低模型复杂度，减轻模型对于训练集的过拟合．

５．最重要的一点－－－－要用多块GPU作为算力来＂炼丹＂跑ＢＰ．

６．有时可以放弃常规的池化，使用Overlapping池化．

Reference:

<ImageNet Classification with Deep Convolutional Neural Networks>