详解支持向量机。

基础:平面方程

在空间坐标系内,平面的方程均可用三元一次方程Ax+By+Cz+D=0来表示。

一、截距式

设平面方程为Ax+By+Cz+D=0,若D不等于0,取a=-D/A,b=-D/B,c=-D/C,则得平面的截距式方程: x/a+y/b+z/c=1 [1] 
它与三 坐标轴交点分别为P(a,0,0),Q(0,b,0),R(0,0,c),其中,a,b,c依次称为该平面在x,y,z轴上的 截距

二、点法式

n为平面的法向量, n=(A,B,C),M,M'为平面上任意两点, 则有n·MM'=0,  MM'=(x-x0,y-y0,z-z0),
从而得平面的点法式方程: A(x-x0)+B(y-y0)+C(z-z0)=0 [1] 

  

  

  
三点求平面可以取 向量积为 法线
任一 三元一次方程的图形总是一个平面,其中x,y,z的 系数就是该平面的一个 法向量的坐标。
两平面互相垂直相当于A1A2+B1B2+C1C2=0
两平面平行或重合相当于A1/A2=B1/B2=C1/C2
点到平面的距离=abs(Ax0+By0+Cz0+D)/sqrt(A^2+B^2+C^2) 求解过程:面内外两点连线在法向量上的映射Prj(小n)(带箭头P1P0)=数量积

    点到平面距离的证明过程:


三、一般式

Ax+By+Cz+D=0 [1]  ,其中A,B,C,D为已知常数,并且A,B,C不同时为零。

四、法线式

xcosα+ycosβ+zcosγ=p  [1]    ,其中cosα、cosβ、cosγ是平面法矢量的 方向余弦,p为原点到平面的距离。


支持向量机

    1.基础概要

        支持向量机(support Vector Machine,SVN)是一种有监督的分类算法,通过探求风险最小来提高学习机的泛化能力,实现经验风险和置信范围的最小化。

        求解目标:求得一个最优超平面


其中W是超平面的法向量,决定了超平面的方向,b是位移项,决定了超平面到原点的距离。显然,超平面可以被W和b确定。样本空间任意一点到超平面的距离为W*X+B/||W||(点到距离的公式前面已经证明了)

   


   


如何求最优超平面(最大间隔分离超平面)?

       



基于目标函数和约束条件,定义拉格朗日函数:










猜你喜欢

转载自blog.csdn.net/fanxin_i/article/details/80108224