线性模型（四）之感知机

  在该系列博客《线性模型》的前两章介绍了介绍了线性模型用于回归任务，即多项式拟合和线性回归。那么能否方便地将线性模型也用到分类任务上呢？
  按照我自己的理解，将线性回归用于分类，最简单的思想就是构建线性回归模型$f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$，然后做如下的判断来实现简单的二分类。

$$\begin{equation*} \left\{ \begin{array}{lr} f(\mathbf{x}) \geq 0, 正例 \\ f(\mathbf{x}) < 0, 负例 \end{array} \right. \end{equation*}$$

  当然这只是一个最简单的想法，要实现的话，还需要涉及到如何定义损失函数，如何求解最优化问题等。感知机（perceptron）就是使用该思想进行分类的算法，下面来看看感知机算法的原理吧。

输入：数据集$D = \{(\mathbf{x}_1,y_2), (\mathbf{x}_2,y_2), ..., (\mathbf{x}_N,y_N)\}$，其中$\mathbf{x}_i = [x_{i1},x_{i2},...,x_{id}]$，而$y_i \in \{-1,1\}$
输出：$f(x) = sign(\mathbf{w}^T\mathbf{x} + b)$

可见感知机模型和线性回归模型的区别主要在于标签$y_i$不再是实数范围，而是表示两个类别，因此对输出做了修改，把结果限制在$\{-1,1\}$.