统计学习方法读书笔记（二）

这一节主要介绍感知机：
假设输入空间是,输出空间是y={+1,-1},输入表示实例的特征向量，对应于输入空间的点，输出表示实例的类别，由输入空间到输出空间的如下函数f(x)=sign(w*x+b)称为感知机。w表示权重，b表示偏置。其中w*x是内积，中间乘法应该是点，编辑器打不出来，抱歉。
sign是符号函数：

几何解释如下，线性方程：
其中w是超平面的法向量，b是超平面的截距。这个超平面被将特征空间分为两个不同的部分，位于不同部分的实例点称之为正，负实例点。
超平面S称为分离超平面，示例如下：（其实完全可以对照着二维平面理解）。

感知机学习策略：感知机学习策略是线性可分的。当然学习的目标就是在找出完全正确分离正负实例的分离超平面。自然想到定义损失函数。使得损失函数极小化。感知机所采用的损失函数就是实例点到分离超平面的距离：
公式编辑太慢了，就手写了。
接下来的目标就是使上面的公式最小化。
采用的方法就是随机梯度下降法。随机选取误分类点，更新权重w和偏置b来使得损失函数最小。
如何更新？请看下面。

算法原始形式：

接下来就谈谈感知机的对偶形式：所谓对偶形式就是用另一种方法解决问题，换一种方式思考，但是得到问题的答案是一样的。
推导过程如下：
对偶形式的算法如下：

原始形式和对偶形式的算法讲解就到这里结束了，还有一个Gram矩阵：
主要是方便计算w的值。
如果有需要原始形式和对偶形式的python代码，可以直接找我来拷，联系方式：1269678172。
下一篇：k近邻法。
不足之处欢迎批评指正。