Deep Learning Note

先有Source Data进行训练,再用Target Data进行迁移学习。 为了防止过拟合的发生,我们通常选择上图所示的方式,就是固定大多数的参数,只对神经网络中的某一些层进行迁移训练,根据以往的经验,总结出了规律:也就是当遇到语音识别的问题时,往往固定最后面的参数,然后用Target Data训练前面的层的参数,然而当遇到Image问题时,通常选择保存前面的层的参数,然后对后面的层的参数进行微调。

Zero/One-shot learning都属于transfer learning,均是将学习得到的模型迁移到其它问题中去。
Zero-shot learning指的是之前没某个类别的训练样本,但是我们可以学习到一个映射X->Y。如果这个映射足够好的话,我们就可以处理没有看到的类了。
One-shot learning 指的是我们在训练样本很少,甚至只有一个的情况下,依旧能做预测。

猜你喜欢

转载自blog.csdn.net/x5675602/article/details/107097971