Deep Learning-迁移学习

迁移学习

迁移学习引出的原因:实际上学习模型的训练是很依赖于1.数据集,包括数据本身以及数据的标注2.训练的时间成本,很多模型很大参数很多,同时拥有足够多的数据集,这样对于模型本身的训练也是很耗费时间和计算成本的

所谓迁移学习,就是将在某一个问题上已经训练好了的模型(针对某个问题进行模型的训练得到一个能解决这个问题的模型),通过对这个已经训练好的模型进行调整,得到一个能适用于新的问题,即能解决新的问题的模型。根据“NFL”天下没有免费的午餐,一个学习模型一定是用于解决某一类问题的,并没有能很好地解决所有问题的一个学习模型。这有一点继承的含义在里面,即在原有的模型的基础上,仅仅是进行了简单的修改,就能用于解决一个新的问题。

从另一个角度去理解这个迁移学习能work的原因:

根据论文:A Deep Convolutional Activation Feature of Generic Visual Recognition。将已经训练好的Inception-v3模型的参数保留,仅仅将最后一层全连接层替换,即可得到一个可以用于解决一个新的图像分类问题的模型。在这最后一层全连接层之前的所有网络结构,即网络的所有层,都称为瓶颈层。而对于瓶颈层的理解,可以认为他起到了一个对图像的特征进行提取的作用。因为仅仅是替换了一个全连接层,就得到了一个可用于新的图像分类问题的模型,可知,全连接层能做的事情、能提升的效果有限,所以有理由相信这个瓶颈层能对图像进行更强的特征提取,输出一个更为精简、表达能力更强的图像的特征向量。

猜你喜欢

转载自blog.csdn.net/weixin_39721347/article/details/86172867