【吴恩达】机器学习第13章SVM学习收获上

从逻辑回归函数引入支持向量机:

1)首先是去掉了1/m。1/m是常数,不影响求导以及最后的结果。这里只是做一个适合SVM的处理。

2)红色箭头的项用cost代替。这里cost1指的是当y=1时,有效项是第一项,得到了如下图像。cost0同理。

3)A+\lambda B 与CA+B是同样的效果。都是为了平衡A、B。这里,我们可以认为C=1/\lambda

4)SVM不会输出概率。通过最小化代价函数,可以得到\theta.,然后得到y等于0或者1.

从SVM到大间隔分类器:

当C特别大的时候,我们会使C后面的一项为0(因为我们的目标是整体最小化),因此只剩下\theta平方项。

1)p是x在\theta的垂直投影。p是一个实数,可正可负。当x和\theta的夹角大于90度,p为负。反之亦然。

2)对于y=1的样本来说,假如p特别小,那么\theta的范数需要特别大,则与我们最小化\theta的范数相违背。因此我们的决策边界会避免这种情况。所以p不可以特别小。由于我们选择那些使得p大,那么间隔就会变大。正负样本与决策边界之间的间隔大。还有决策边界与\theta向量总是垂直的。

猜你喜欢

转载自blog.csdn.net/BRAVE_NO1/article/details/82860042
今日推荐