第二章感知机笔记

2.1 感知机模型

定义2.1 （感知机）假设输入空间（特征空间）是 $\chi\subset R^2$ ,输出空间是 $Y=\{+1,-1\}$ .输入 $x \in\chi$ 表示实例的特征向量，对应于输入空间（特征空间）的点；输出 $y\in Y$ 表示实例的类别。由输入空间到输出空间的如下函数

f (x) = s i g n (w \cdot x + b)

$f(x) = sign(w\cdot x+b)$
称为感知机。其中，

w

$w$ 和

b

$b$ 为感知机模型参数，

w \in R^{n}

$w\in R^n$ 叫做权值（weight）或权值向量，

b \in R

$b\in R$ 叫作偏置（bias），

w \cdot x

$w\cdot x$ 表示内积。sign是符号函数，即

s i g n (x) = {\begin{cases} + 1, & x >= 0 \\ - 1, & x <0 \end{cases}

$sign(x) = \begin{cases} +1,& \text{x >= 0}\\ -1,& \text{x <0} \end{cases}$
感知机是一种线性分类模型，属于判别模型。
几何解释：线性方程

w \cdot x + b = 0

$w\cdot x +b=0$
对应于特征空间

R^{n}

$R^n$ 中的一个超平面

S

$S$ ，其中

w

$w$ 是超平面的法向量，

b

$b$ 是超平面的截距。

2.2 学习策略

定义2.2 （数据集的线性可分性）给定一个数据集

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{N}, y_{N})},

$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\},$
其中，

x_{i} \in χ = R^{n}, y_{i} \in Y = {+ 1, - 1}, i = 1, 2, . . ., N

$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ,如果存在某个超平面

S

$S$

w \cdot x + b = 0

$w\cdot x +b=0$
能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有

y_{i} = + 1

$y_{i} = +1$ 的实例

i

$i$ ,有

w \cdot x_{i} + b > 0

$w\cdot x_{i} +b>0$ ,对所有

y_{i} = - 1

$y_{i} = -1$ 的实例

i

$i$ ,有

w \cdot x_{i} + b < 0

$w\cdot x_{i} +b<0$ ,则成数据集

T

$T$ 为线性可分数据集（linearly separable data set）;否则，称数据集

T

$T$ 线性不可分。
损失函数
假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。即确定感知机模型参数

w, b

$w,b$ ,使损失函数极小化。
感知机所采用的损失函数为：误分类点到超平面

S

$S$ 的总距离。
给定训练数据集

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{N}, y_{N})},

$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\},$
其中，

x_{i} \in χ = R^{n}, y_{i} \in Y = {+ 1, - 1}, i = 1, 2, . . ., N

$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ,感知机

s i g n (w \cdot x + b)

$sign(w\cdot x+b)$ 学习的损失函数定义为

L (w, b) = - \sum_{x_{i} \in M} Y = y_{i} (w \cdot x_{i} + b) （ 2.4 ）

$L(w,b) = -\sum\limits_{x_{i}\in M} Y=y_i(w\cdot x_i +b) （2.4）$
其中

M

$M$ 为误分类点的集合，这个损失函数就是感知机学习的经验风险函数。
显然，损失函数

L (w, b)

$L(w,b)$ 是非负的。如果没有误分类点，则损失函数的值为0，而且误分类点越少，误分类点距离超平面就越近，损失函数值就越小。同时，损失函数

L (w, b)

$L(w,b)$ 是连续可导函数。
感知机学习的策略是在假设空间中选取使损失函数

L (w, b)

$L(w,b)$ 最小的模型参数

w, b

$w,b$ ，即感知机模型。

2.3 学习算法

感知机学习问题转化为求解损失函数式（2.4）的最优化问题。采用随机梯度下降法。

2.3.1 感知机学习算法的原始形式

给定一个训练数据集

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{N}, y_{N})},

$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\},$
其中，

x_{i} \in χ = R^{n}, y_{i} \in Y = {+ 1, - 1}, i = 1, 2, . . ., N

$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ,求参数

w, b

$w,b$ ，使其为损失函数极小化问题的解

min_{w, b} L (w, b) = - \sum_{x_{i} \in M} Y = y_{i} (w \cdot x_{i} + b) （ 2.5 ）

$\min\limits_{w,b}L(w,b) = -\sum\limits_{x_{i}\in M} Y=y_i(w\cdot x_i +b) （2.5）$
其中

M

$M$ 为误分类点的集合。
采用随机梯度下降法。
首先，任意选取一个超平面

w_{0}, b_{0}

$w_0,b_0$ ，然后用梯度下降法极小化目标函数（2.5），一次随机选取一个误分类点使其梯度下降。
假设误分类点集合

M

$M$ 固定的，那么损失函数

L (w, b)

$L(w,b)$ 的梯度由

\nabla_{w} L (w, b) = - \sum_{x_{i} \in M} y_{i} x_{i}

$\nabla_wL(w,b) = -\sum\limits_{x_{i}\in M}y_{i}x_{i}$

\nabla_{b} L (w, b) = - \sum_{x_{i} \in M} y_{i}

$\nabla_bL(w,b) = -\sum\limits_{x_{i}\in M}y_{i}$ 给出。
随机选取一个误分点

(x_{i}, y_{i})

$(x_i,y_i)$ ，对

w, b

$w,b$ 进行更新：

w \leftarrow w + η y_{i} x_{i}

$w\leftarrow w+\eta y_{i}x_{i}$

b \leftarrow b + η y_{i}

$b\leftarrow b+\eta y_{i}$
式中

η (0 < η \leq 1)

$\eta(0<\eta \leq 1)$ 是步长，在统计学习中又称为学习率（learning rate）.这样通过迭代可以期待损失函数

L (w, b)

$L(w,b)$ 不断减小，直到为0.

算法 2.1 （感知机学习算法的原始形式）
输入： 训练数据集 $T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\},$ 其中，
$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ,学习率 $\eta(0<\eta \leq 1)$ ；
输出： $w,b$ ；感知机模型 $f(x) = sign(w\cdot x+b)$
（1）选取初值 $w_0,b_0$
（2）在训练集中选取数据 $(x_i,y_i)$
（3）如果 $y_i(w\cdot x_i +b) \leq 0$

w \leftarrow w + η y_{i} x_{i}

$w\leftarrow w+\eta y_{i}x_{i}$

b \leftarrow b + η y_{i}

$b\leftarrow b+\eta y_{i}$
（4）转至（2），直至训练集中没有误分类点。

2.3.2 算法的收敛性

对于线性可分的数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
记： $\hat{w}=(w^T,b)^T$ ， $\hat{x}=(x^T,1)^T$ ， $\hat{x}\in R^{n+1}$ ， $\hat{w}\in R^{n+1}$ , $\hat w\cdot \hat x=w\cdot x +b$ .
定理 2.1（Novikoff） 设训练数据集

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{N}, y_{N})}

$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\}$ 是线性可分的，其中，

x_{i} \in χ = R^{n}, y_{i} \in Y = {+ 1, - 1}, i = 1, 2, . . ., N

$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ，则
（1）存在满足条件

‖ {\hat{w}}_{o p t} ‖ = 1

$\lVert \hat w_{opt}\rVert =1$ 的超平面

{\hat{w}}_{o p t} \cdot \hat{x} = w_{o p t} \cdot x + b_{o p t} = 0

$\hat w_{opt} \cdot \hat x= w_{opt}\cdot x +b_{opt} = 0$ 将训练数据集完全正确分开；且存在

γ > 0

$\gamma >0$ ，对所有

i = 1, 2, . . ., N

$i = 1,2,...,N$

y_{i} ({\hat{w}}_{o p t} \cdot {\hat{x}}_{i}) = y_{i} (w_{o p t} \cdot x_{i} + b_{o p t}) \geq γ

$y_i( \hat w_{opt} \cdot \hat x_i)=y_i( w_{opt}\cdot x_i +b_{opt}) \ge \gamma$
（2）令

R = max_{1 \leq i \leq} ‖ {\hat{x}}_{i} ‖

$R = \max\limits_{1\leq i \leq }\lVert \hat x_{i}\rVert$ ，则感知机算法2.1在训练数据集上的误分类次数

k

$k$ 满足不等式

k \leq (\frac{R}{γ})^{2}

$k\leq (\frac{R}{\gamma})^2$

2.3.3 感知机学习算法的对偶形式

基本思想
将 $w$ , $b$ 表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式，通过求解其系数而求解其系数而求得 $w$ 和 $b$ ,不失一般性，假设初始值 $w_0$ , $b_0$ 均为0，对误分点类 $(x_i,y_i)$ 通过

w \leftarrow w + η y_{i} x_{i}

$w\leftarrow w+\eta y_{i}x_{i}$

b \leftarrow b + η y_{i}

$b\leftarrow b+\eta y_{i}$ 逐步修改

w

$w$ 和

b

$b$ ，设修改

n

$n$ 次，则

w

$w$ ,

b

$b$ ,关于

(x_{i}, y_{i})

$(x_i,y_i)$ 的增量分别是

α_{i} y_{i} x_{i}

$\alpha_{i}y_{i}x_i$ 和

α_{i} y_{i}

$\alpha_{i}y_{i}$ ,这里

α_{i} = n_{i} η

$\alpha_{i}=n_{i}\eta$ .则有

w = \sum_{i = 1}^{N} α_{i} y_{i} x_{i}

$w=\sum\limits_{i=1}^{N}\alpha_{i}y_{i}x_i$

b = \sum_{i = 1}^{N} α_{i} y_{i}

$b=\sum\limits_{i=1}^{N}\alpha_{i}y_{i}$ 这里，

α_{i} \geq 0, i = 1, 2, . . ., N

$\alpha_{i}\ge0,i=1,2,...,N$ ,当

η = 1

$\eta = 1$ 时，表示第i个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。
算法 2.2 （感知机学习算法的对偶形式）
输入：线性可分的数据集

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{N}, y_{N})},

$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\},$ 其中，

x_{i} \in χ = R^{n}, y_{i} \in Y = {+ 1, - 1}, i = 1, 2, . . ., N

$x_{i}\in \chi=R^n,y_{i}\in Y=\{+1,-1\},i = 1,2,...,N$ ,学习率

η (0 < η \leq 1)

$\eta(0<\eta \leq 1)$ ；
输出：

w, b

$w,b$ ；感知机模型

f (x) = s i g n (\sum_{j = 1}^{N} α_{j} y_{j} x_{j} \cdot x + b)

$f(x) = sign(\sum\limits_{j=1}^{N}\alpha_{j}y_{j}x_j\cdot x+b)$ .
其中

α = (α_{1}, α_{2}, . . ., α_{N})^{T}

$\alpha = (\alpha_1,\alpha_2,...,\alpha_N)^T$
（1）

α \leftarrow 0

$\alpha \leftarrow 0$ ,

b \leftarrow 0

$b\leftarrow 0$
（2）在训练集中选取数据

(x_{i}, y_{i})

$(x_i,y_i)$
（3）如果

y_{i} (\sum_{j = 1}^{N} α_{j} y_{j} x_{j} \cdot x_{i} + b) \leq 0

$y_i(\sum\limits_{j=1}^{N}\alpha_{j}y_{j}x_j\cdot x_i +b) \leq 0$

α \leftarrow α_{i} + η

$\alpha\leftarrow \alpha_i+\eta$

b \leftarrow b + η y_{i}

$b\leftarrow b+\eta y_{i}$
（4）转至（2），直至训练集中没有误分类点。
对偶形式中训练实例仅以内积的形式出现，为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，该矩阵即为Gram矩阵

G = [x_{i} \cdot x_{j}]_{N \times N}

$G=[x_{i} \cdot x_{j}]_{N\times N}$

来源：李航著《统计学习方法》