证明softmax的决策边界是线性的

问题描述:

 

 没有隐藏层的softmax网络,g就是softmax激活函数

 

决策边界是线性的(图片来自吴恩达的深度学习视频)

首先说明两点问题:

1,决策边界上softmax对任两类的输出概率是相等的,即对于边界上任一点X,softmax输出的概率向量上的对应分量相等。由softmax计算定义可知,zi=wi*X+bi=zj=wj*X+bj. 这里wi和wj是权重矩阵第i,j行。

2,边界是线性的等价于 对边界上任意两点X1,X2,他们的线性组合X0=t*X1+s*X2仍然在决策边界上,这里t+s=1.

下面开始证明没有隐藏层的softmax网络的决策边界是线性的:

从softmax的决策边界上任取两点X1,X2, 由上面的叙述1可知,w1*X+b1=w2*X+b2,即(w1-w2)*X=b2-b1.

再任取一点X0=t*X1+s*X2,s+t=1,则softmax对X0的计算得z1=w1*X0+b1,z2=w2*X0+b2, 下面证明z1=z2.

z1-z2=w1*X0+b1-(w2*X0+b2)=t*(w1-w2)*X1+s*(w1-w2)*X2-(b1-b2)=t*(b2-b1)+s*(b2-b1)-(b1-b2)=0.

所以,z1=z2,即X0也在决策边界上。

注:上面这种证明方法也可以用于证明其他分类器(比如线性回归和逻辑回归分类器)的决策边界是线性的,这是一种一般性方法。

猜你喜欢

转载自www.cnblogs.com/chong-blog/p/11704394.html