证:单层感知机不能表示异或逻辑

转载于http://blog.csdn.net/panda07100/article/details/38580993

对于a XOR b ,其真值表为:

a b y
0
0
1
1
0
1
0
1
0
1
1
0


从数据集线性可分性的角度证明XOR逻辑是非线性的:

设数据集T为:
    这里写图片描述

其中:
    这里写图片描述
假设T是线性可分的,则存在超平面这里写图片描述对T中的4个实例正确分类

  这里写图片描述
注:这里的大于小于零与y的取值无关,它与参考系有关,表示两个类别,所以也并不要求y的取值是正1和负1.

这里写图片描述
对上式进行化简
  这里写图片描述
四个式子相互之间是矛盾的,所以异或逻辑是非线性问题,得证。
 另外,感知机的学习策咯是极小化误分类点到超平面S的总距离,即经验风险最小化。对于线性不可分数据集,由于总是存在误分类点,算法将不能够收敛。事实上,最后的迭代(随机梯度下降)将发生震荡,证明过程见Novikoff定理。
 这里写图片描述
异或逻辑图像
这里写图片描述
综上所述:单层感知机不能表示异或逻辑。

参考资料:《统计学习方法》 李航

猜你喜欢

转载自blog.csdn.net/SmartDazhi/article/details/75745893