版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_30354455/article/details/80466182
特征组合很实用但也有一些问题，尤其是将稀疏特征组合起来的时候。
（接上图）那么我们可能会遇到数百万个可能存在的字词和数百万个可能存在的视频，这些内容一旦组合起来，便会产生大量的系数，这就意味着，模型会突然增大从而占满内存，还可能减缓运行时间。
并且，尽管我们拥有大量的训练数据，但其中仍有许多组合会非常罕见，因此我们最终可能会得到一些噪声系数，并可能产生过拟合。如果产生过拟合，就要进行正则化。
现在我们要讨论的是，能否以特定方式进行正则化，既能缩减模型大小，又能降低内存使用量？——我们要做的就是将部分权重设为0，这样就不必处理其中的一些特定组合了，就节省了内存，还能帮助我们解决过拟合问题；
但是要注意的是，因为我们只是想去除那些额外的噪音系数，而非想失去正确的系数。
所以我们要做的就是明确地将权重设为0，也就是所谓的L0正则化。这种方式只会因存在不为0的权重而处罚，但它没有凸性，难以优化，并存在某种逗号尾随问题。要是我们条件放宽为L1正则化，只对权重的绝对值总和进行处罚，那么我们仍可以促使模型变得非常稀疏，L1正则化会让许多系数归0。
L1正则化和L2正则化略有不同——L2也会尝试设置较小的权重，但不会让权重归0。