Alex-net

 
下一个图像的通道为48, 是因为96个核,分成了两部分

减少过拟合的方法:
1 数据处理: (1)图像变换和镜像旋转,说明CNN不是抗旋转的 (2)主成分分析后添加高斯噪声,因为图像的内容丰富度用秩来表示,主成分分析是奇异值分解的另一种形式,某种意义上说来是统一的,而矩阵的所有的特征空间就是用来表征矩阵的有效信息的

2 随机失活(dropout):使得网络结构动态化的一种办法,不会依赖某些层

非线性激活函数用了ReLu:
文中提到了max截断的方法比tanh 和sigmoid函数梯度下降更快

更准确的翻译 https://zhuanlan.zhihu.com/p/22538465

猜你喜欢

转载自blog.csdn.net/liu_fei_er/article/details/80198231