动手学深度学习V2.0(Pytorch)——13.丢弃法

丢弃法，dropout

https://www.bilibili.com/video/BV1Y5411c7aY?p=1

1. 课件讲解

• 对人来说，给你看一只猫的正面，反面，侧面，闭眼，睁眼各种状态的图片，都可以认出来这是一只猫。也就是说，我们希望模型对输入数据具有比较好的鲁棒性（robust to noises）
• 使用有噪音的数据等价于Tikhonov正则，吉洪诺夫正则
• 丢弃法则是在层之间加入噪音，也就说丢弃法本身也是一种正则的方式。
• 正则的意思就是，一种调整的方法，调整使之规范，容易求解。
• L2正则用在损失函数中就被称为penalty，惩罚项

• 假设 x