关于pytorch当中的model.eval()和requires_grad=False

在做Meta Learning的时候,经常需要将一些梯度后向传导停住在某些层。但这不意味着我仅仅调用requires_grad=False就可以了。在一些层,例如dropout层,用于训练和用于推断表现不一样。所以说一般建议的是用model.eval()方法。

这个小错有时候能导致很大的困难,例如预测时候突然精度变得特别差。

猜你喜欢

转载自blog.csdn.net/weixin_42812353/article/details/113308014