论文:何恺明《Rethinking ImageNet Pre-training》
在许多计算机视觉任务中,包括目标检测、图像分割、行为检测等,一般使用在ImageNet上预训练再进行微调。而在这篇论文中,作者任务在ImageNet上预训练是并不必要的,随机初始化也可以达到同样的效果,只需要:
1)使用合适的正则化优化方法
2)足够长的训练时间,即多次迭代训练
论文中的走势图,我们可以观察到random init和pre-train两条线,一开始pre-train更有优势,随着iterations的增加,两条线达到了同样的效果。