机器学习-softmax函数-向量的模、范数

softmax 回归

源网址:https://www.jianshu.com/p/ca15977641c1

针对逻辑回归,我们只有(0,1)这两个选项,但是在现实世界中,我们的预测结果可能会有多种。

比如,预测图片中的动物(可能是猫,狗,小鸡,考拉等)。

以下面的图片为例,我们可以看到我们将结果分为4类

C = number of classes = 4  (0,...,3)

我们看神经网络的最后一层,他有四个圆圈,也就意味着他有4个结果。

P(Other|x) : 在给定X的前提下,Other的概率。

P(Cat|x) : 在给定X的前提下,Cat的概率。

P(Dog|x) : 在给定X的前提下,Dog的概率。

P(Chick|x) : 在给定X的前提下,Chick的概率。

这四个概率相加 =1

P(Othe|x) + P(Cat|x) + P(Dog|x)+P(Chick|x)=1

我们再来看这张深度学习的图。

也就是因为softmax回归,我们需要将Z[l]变化未总和为“1”的概率,因此我们有以下几步操作:

1. 将Z[l]上面的值全部加上e指数。

2. 求得每个圆圈的数字,然后除以这四个指数的和。(可以看出,这四个概率的总和一定是1)

3. 这样每个数字的概率,就是啦。

我们来形象的了解下softmax回归

如果softmax回归,的classer是2,它就变成了逻辑回归。

我们来看看softmax的cost function

以上两个矩阵y的第二行是1,表明他是Cat,但是y_hat的概率是0.2,就说明这个模型建立的不够好。

那么,我们如何计算他们的cost function呢?

可以看出,矩阵y只有一个1,其他都是0,可见,无论对错,预测的概率越小,y'j越接近0,-logy'j越大,loss也就越大。那么优化器就会调节权值,将该类别的概率提高,减小loss。

下面,我们考虑有m个训练样本集的情况。

这里要说明的是,由于softmax回归,出现的是一个(4,1)的矩阵,因此当有m个训练样本是,他的返回值,也是(4,m)的矩阵。

可以看到,矩阵的每一列,就是一个y 或者y_hat的值,这里举得例子m为3。

关于向量的模和向量的范数的理解

https://blog.csdn.net/Tomxiaodai/article/details/81698878

发布了65 篇原创文章 · 获赞 8 · 访问量 8170

猜你喜欢

转载自blog.csdn.net/qq_25799253/article/details/103179895
今日推荐