深度学习笔记-正则化

-通过正则化消除过度拟合，下面为公式介绍和解释

• J(w,b)= $\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})+\frac{\lambda}{2m}||w||{^2_2}$
• $L_2$正则化： $||w||{^2_2}=\sum_{j=1}^{n_x} {w_j}^2=w^Tw$,
  $||w||{^2_2}$被称为参数W的 $L_2$范数
• 只对W进行正则化是因为W是一个高维参数，基本上包含了所有维度
• $\lambda$是正则化参数，应该较大，避免过拟合，即避免数据权值矩阵过大
• 放在多层网络中变成了“ $+\frac{\lambda}{2m}\sum_{l=1}^{L}||w^{[l]}||{^2_F}$”
  L为层
  $||W^{[l]}||{^2_F}=\sum_{i=1}^{n^{[l-1]}}\sum_{j=1}^{n^{[l]}}(w{^{[l]}_{ij}})^2\qquad w:(n^{[l-1]},n^{[l]})$
  “Frobenius norm” 弗罗贝尼乌斯范数