【机器学习】SoftMax多分类---学习笔记

softMax分类函数

首先给一个图，这个图比较清晰地告诉大家softmax是怎么计算的。

(图片来自网络)

定义：

给定以歌$n\times k$矩阵$W=(w_1,w_2,...,w_k)$,其中，$w_j\in R^n$为$n\times 1$列向量（$1\le j\le k$）,Softmax模型$h_w:R^n\to R^k$为：
$$h_W(x)=(\frac{e^{<w_1,x>}}{{\sum }_{t=1}^k{e}^{<w_t,x>}},\frac{e^{<w_2,x>}}{{\sum }_{t=1}^k{e}^{<w_t,x>}},...,\frac{e^{<w_k,x>}}{{\sum }_{t=1}^k{e}^{<w_t,x>}}{)}_{(样本m\times k)}$$

样本$x_1$的softmax值为：
$$h_W(x_1)=(\frac{e^{<w_1,x_1>}}{{\sum }_{t=1}^k{e}^{<w_t,x_1>}},\frac{e^{<w_2,x_1>}}{{\sum }_{t=1}^k{e}^{<w_t,x_1>}},...,\frac{e^{<w_k,x_1>}}{{\sum }_{t=1}^k{e}^{<w_t,x_1>}}{)}_{(1\times k)}$$
且可知$$\sum _1^k{h}_w(x_1)=1$$

类别数k要小于特征维度n
如果类别数大于特征维度，那么就会出现过多的未知参数需要学习，导致模型过于复杂，难以训练和泛化。因此，通常是将类别数设定为特征维度的一个较小的值，以保证模型的简洁性和可行性。

softmax分类损失函数

交叉熵的理论部分在上一篇文章：Logistic回归
前面提到，在多分类问题中，我们经常使用交叉熵作为损失函数
$$Loss=-\sum t_{i}ln{y}_i$$
其中$t_i$表示真实值，$y_i$表示求出的softmax值。当预测第i个时，可以认为$t_i$=1.此时损失函数变成了$$Los{s}_i=-ln{y}_i$$
代入$$y_i=h_W(x_i)$$，求梯度
$$▽Los{s}_i=y_i-1$$上面的结果表示，我们只需要正向求出$y_i$，将结果减1就是反向更新的梯度，导数的计算是不是非常简单！

总结一下：