深度学习之权重衰退

一 . 什么是权重衰退

模型在训练的过程中可能过拟合，这一般是由于数据复杂度太低而模型容量太大导致的，简而言之就是数据太简单，模型太复杂，模型学习到了数据的一切，包括噪音。此时，权重往往会很大（受噪音影响），显然模型并没有训练到最优（虽然它记住了训练数据的一切，但是对于新的样本泛化能力很差）。所以，我们想要适当降低权重，使模型接近最优，这样模型的泛化性能提升就适当的解决了过拟合问题，这就是权重衰退。

二. 详细内容