正则化
正则化因子是为了W能更好地拟合数据并且优化W，事实上正则化用来权衡训练损失及用于测试集的泛化损失的。它将和前面的损失函数前面的部分形成竞争，很多时候减少前面会导致后面增加，所以要使L尽可能小，必须前面和后面都同时减少。L2正则化是最常用的方式。
下图中的例子能很好的说明正则化的好处。如图，w1和w2的带来的损失值都是1，但是w2明显优于w1，因为它综合考虑了所有因素的信息，从正则化值来看，w1的L2值是1，w2的L2值是4*1/16=1/4。当然在下图中，如果使用L1正则化，则看不出w1和w2的区别。那么是不是说L1正则化不好呢？不是！事实上L1用在稀疏场合，因为使用L1正则化会使很多权重矩阵中出现很多0。
softmax分类器
上图中的f(xi;W)实际上就权重矩阵W乘以类别向量X得到的，X的每个分量xi表示样本在第i个类别上的得分，记为s。softmax分类器的目标就是最大化这个分值，但它不是直接去最大化这个分值，而是把这个分值嵌入到一个计算概率P的算式中，把一个数值最大化的问题变成了概率值最大化的问题，然后再求对数，取负，就把一个最大化问题变成了最小化问题。通过这样变化后得到的Li函数就自然而然成了这种分类器的损失函数。计算过程如下：
从图中可以看出，把图片识别成猫中，其损失值为0.89（最大为1），说明损失值很大，在以后的训练过程中，分类器就会修改相应的权重矩阵W来降低其损失值，从而增加猫的得分。最终达到使正确类的得分高于错误类的得分值。