一点调参的小体会

我们在训练模型时，通常会用到两个调参的技巧，一个是early stop，即在验证集上跑，当效果下降了n个epoch之后停止模型的训练，防止过拟合，一个是将验证集中效果最好的那个epoch的模型参数保存下来，最终加载这个epoch的模型参数来使用。

但是要注意，验证集上效果最好的epoch不代表是在测试集上效果最好的epoch，我这两天做一个模型，进行early stop之后直接去测试集跑出来的效果比early stop之后加载验证集效果最好的参数要更好。