目录
1. EfficientNet V1存在的问题
针对EfficientNet V1 ，作者提出了以下的三个缺点
当训练图像的size很大时，网络中传递的特征图尺寸就会很大，这样训练就会慢得多。当降低了图像的尺寸，可以使用更大的batch size，这对于BN层来说是更好的
浅层的dw卷积速度很慢，这里采用Fuse-MBConv卷积
超参数按照相同的比例，改变网络深度或者宽度效果不是那么好
2. EfficientNet V2 的亮点
个人觉得最重要的是渐进的学习方法吧，根据体系的尺寸动态的正则化
对于不同的图像大小保持相同的正则化并不理想:对于相同的网络，较小的图像大小导致较小的网络容量，因此需要弱正则化;反之亦然，较大的图像尺寸需要更强的正则化来对抗过拟合。
我们提出了一种改进的渐进式学习方法:在早期训练阶段，我们用小图像大小和弱正则化(例如，dropout和数据增强)训练网络，然后我们逐渐增加图像大小并添加更强的正则化。建立在逐步调整大小的基础上,但通过动态调整正则化，我们的方法可以在不导致准确性下降的情况下加速训练。
3. EfficientNet V2 网络架构
