0 前言
Softmax在机器学习中应用非常广泛,尤其在处理多分类问题,分类器最后的输出单元需要Softmax 函数进行数值处理。但是刚刚接触机器学习的同学可能对Softmax的特点及好处并不理解,当你了解以后会发现,Softmax计算简单,效果显著。
我们先来直观看一下,Softmax究竟是什么意思:我们知道max,假如说我有两个数,a和b,并且a>b,如果取max,那么就直接取a,没有第二种可能。然而,有的时候我们并不想这样,因为这样会造成分值小的那个饥饿。所以我希望分值大的那一项经常取到,分值小的那一项偶尔也可以取到,那么用softmax就可以实现这一操作。
现在还是a和b,a>b,如果我们取按照softmax来计算取a和b的概率,那a的softmax值大于b的,所以a会经常被取到,而b也会偶尔取到,概率跟它们本来的大小有关。所以说不是max,而是 Soft max 那各自的概率究竟是多少呢,这里我们引入softmax的概念及表达式。
1 Softmax 表达式
关于Softmax 函数的定义如下所示:
其中,Vi 是分类器线性输出单元的输出。i表示类别索引,总的类别个数为C。Si表示当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相对概率,更容易理解和比较。我们来看下面这个例子。
一个多分类问题,C = 4。线性分类器模型最后输出层包含了四个输出值,分别是:
经过Softmax处理后,数值转化为相对概率:
很明显,Softmax的输出表征了不同类别之间的相对概率。可以明显看出,S1 = 0.8390,对应的概率最大,因此,判断预测为第1类的可能性更大。Softmax 将连续数值转化成相对概率,更有利于理解。
实际应用中,使用 Softmax 需要注意数值溢出的问题。因为有指数运算,如果V值很大,经过指数运算后的数值有溢出的可能。所以,需要对V做一些数值处理:即V中的每个元素减去V中的最大值。
相应的python示例代码如下:
scores = np.array([123, 456, 789]) # example with 3 classes and each having large scores
scores -= np.max(scores) # scores becomes [-666, -333, 0]
p = np.exp(scores) / np.sum(np.exp(scores))
2 Softmax 损失函数
我们知道,线性分类器的输出是输入x与权重系数矩阵w的相乘,即s = Wx。对于多分类问题,使用 Softmax 对线性输出进行处理。于是,我们来探讨下 Softmax 的损失函数。
其中,Syi是正确类别对应的线性得分函数,Si 是正确类别对应的 Softmax输出。
由于 log 运算符不会影响函数的单调性,我们对 Si 进行 log 操作:
我们希望 Si 越大越好,即正确类别对应的相对概率越大越好,那么就可以对 Si 前面加个负号,来表示损失函数:
对上式进一步处理,把指数约去:
这样,Softmax 的损失函数就转换成了简单的形式。
举个简单的例子,上一小节中得到的线性输出为:
假设 i = 1 为真实样本,计算其损失函数为:
若令 i = 0 为真实样本,计算其损失函数为:
3 softmax 反向梯度
推导了 Softmax 的损失函数之后,接下来继续对权重参数进行反向求导。
Softmax 线性分类器中,线性输出为:
其中,下标 i 表示第 i 个样本。
求导过程的程序设计分为两种方法:一种是使用嵌套 for 循环,另一种是直接使用矩阵运算。
使用嵌套 for 循环,对权重 W 求导函数定义如下:
使用矩阵运算,对权重 W 求导函数定义如下:
实际验证表明,矩阵运算速度要比嵌套循环快很多,特别是在训练样本数量多的情况下。我们使用 CIFAR-10 数据集中约5000个样本对两种求导方式进行测试对比:
结果显示为:
>> naive loss: 2.362135e+00 computed in 14.680000s
>> vectorized loss: 2.362135e+00 computed in 0.242000s
>> Loss difference: 0.000000
>> Gradient difference: 0.000000
显然,此例中矩阵运算的速度要比嵌套循环快60倍。所以,当我们在编写机器学习算法模型时,尽量使用矩阵运算,少用嵌套循环,以提高运算速度。
4 Softmax 与 SVM
Softmax线性分类器的损失函数计算相对概率,又称交叉熵损失(Cross Entropy Loss)。线性 SVM 分类器和 Softmax 线性分类器的主要区别在于损失函数不同。SVM 使用的是 hinge loss,更关注分类正确样本和错误样本之间的距离「Δ = 1」,只要距离大于 Δ,就不在乎到底距离相差多少,忽略细节。而 Softmax 中每个类别的得分函数都会影响其损失函数的大小。例如,类别个数 C=3,两个样本的得分函数分别为[10, -10, -10],[10, 9, 9],真实标签为第0类。对于SVM来说,这两个 Li 都为0;对于Softmax来说,这两个 Li 分别为0和0.55,差别很大。
5 Softmax的正则化参数 λ
接下来,谈一下正则化参数 λ 对 Softmax 的影响。我们知道正则化的目的是限制权重参数 W 的大小,防止过拟合。正则化参数 λ 越大,对 W 的限制越大。例如,某3分类的线性输出为 [1, -2, 0],相应的 Softmax 输出为[0.7, 0.04, 0.26]。假设,第0类是正确类别,显然0.7远大于0.04和0.26。若使用正则化参数 λ,由于 λ 限制了 W 的大小,得到的线性输出也会等比例缩小,初始的线性输出[1, -2, 0] 就会变成类似于 [0.5, -1, 0],相应的 Softmax 输出为[0.55, 0.12, 0.33]。显然,正确类别和错误类别之间的相对概率差距变小了。
也就是说,正则化参数 λ 越大,Softmax 各类别输出越接近。大的 λ 实际上是“均匀化”正确样本与错误样本之间的相对概率。但是,概率大小的相对顺序并没有改变,因此也不会影响到对 Loss 的优化算法。