深度学习入门笔记（三）：感知机

专栏——深度学习入门笔记

推荐文章

• 深度学习入门笔记（一）：机器学习基础
• 深度学习入门笔记（二）：神经网络基础
• 深度学习入门笔记（三）：感知机
• 深度学习入门笔记（四）：神经网络
• 深度学习入门笔记（五）：神经网络的学习
• 未完待续。。。

——————————————————————————————————————————————————————
本章通俗易懂，容易理解，没有太多很难理解的数学公式，适合数学水平一般、零基础入门学习的学生，同时本文章通过python原生代码来实现感知机，从底层原理去深入了解并熟练掌握，只要学过python基础的东西就都能看懂。

感知机是由美国学者FrankRosenblatt在1957年提出来的。为何我们现在还要学习这一很久以前就有的算法呢？因为感知机也是作为神经网络(深度学习)的起源的算法。因此，学习感知机的构造也就是学习通向神经网络和深度学习的一一种重要思想。

1. 什么是感知机

感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流"(1/0)两种取值。在本书中，0对应“不传递信号”，1对应“传递信号”

图2-1是一个接收两个输人信号的感知机的例子。 $x_1,x_2$ 是输入信号， $y$ 是输出信号， $w_1,w_2$ 是权重(w是weight的首字母)。图中的O称为 “神经元" 或者 “节点”。输人信号被送往神经元时，会被分别乘以固定的权重( $w_1x_1,w_2x_2$)。 神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为 “神经元被激活”。这里将这个界限值称为 阈值，用符号 $θ$ 表示。

感知机的运行原理只有这些！把上述内容用数学式来表示（式2-1）：

$y = \begin{cases}0, & \text{$w_1x_1+w_2x_2≤θ$}\\1,&\text{$w_1x_1+w_2x_2 > θ$}\end{cases}$

2. 简单逻辑电路

2.1 与门

与门是有两个输入和一个输出的门电路。图2-2这种输人信号和输出信号的对应表称为“真值表”。如图2-2所示，与门仅在两个输人均为1时输出1,其他时候则输出0。

下面考虑用感知机来表示这个与门。需要做的就是确定能满足图2-2的真值表的 $w_1,w_2,θ$的值。那么，设定什么样的值才能制作出满足图2-2的条件的感知机呢?

实际上，满足图2-2的条件的参数的选择方法有无数多个。比如，当 $(w_1,w_2,θ)$ = (0.5, 0.5,0.7)时，可以满足图2-2的条件。此外，当( $w_1,w_2,θ$)为(0.5, 0.5, 0.8)或者(1.0, 1.0, 1.0)时，同样也满足与门的条件。设定这样的参数后，仅当 $x_1$和 $x_2$同时为1时，信号的加权总和才会超过给定的阈值θ。

2.2 与非门和或门

与非门就是颠倒了与门的输出。用真值表表示的话，如图2-3所示，仅当 $x_I$和 $x_2$同时为1时输出0,其他时候则输出1。那么与非门的参数又可以是什么样的组合呢?

要表示与非门，可以用 $(w_1,w_2,θ)$ = (-0.5, -0.5, -0.7)这样的组合(其他的组合也是无限存在的)。实际上，只要把实现与门的参数值的符号取反，就可以实现与非门。

接下来看一下图2-4所示的 或门。或门是“只要有一个输入信号是1,输出就为1”的逻辑电路。那么我们来思考一下，应该为这个或门设定什么样的参数呢?

如上所示，我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是：与门、与非门、或门的感知机构造是一样的。

实际上，3个门电路只有参数的值(权重和阈值)不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员"表演不同的角色一样，变身为与门、与非门、或门。

3. 感知机的实现

3.1 简单代码实现

现在，我们用Python来实现刚才的逻辑电路。这里，先定义一个接收参数 $x_1$ 和 $x_2$ 的AND函数。

def AND(x1, x2):
	w1，w2，theta = 0.5，0.5，0.7
	tmp = x1*wl + x2*w2
	if tmp <= theta:
		return 0
	elif tmp > theta:
		return 1

在函数内初始化参数w1、w2、theta,当输入的加权总和超过阈值时返回1,否则返回0。

3.2 导入权重和偏置

刚才的与门的实现比较直接、容易理解，但是考虑到以后的事情，我们将其修改为另外一种实现形式。在此之前，首先把式(2.1)的 0 换成 -b，于是就可以用式(2.2)来表示感知机的行为。

$y = \begin{cases}0, & \text{$w_1x_1+w_2x_2 + b≤0$}\\1,&\text{$w_1x_1+w_2x_2+b > 0$}\end{cases}$

式(2.1)和式(2.2)虽然有一个符号不同，但表达的内容是完全相同的。此处，b称为 偏置, $w_1$ 和 $w_2$ 称为 权重。如式(2.2)所示，感知机会计算输人信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1,否则输出0。

下面，我们使用NumPy,按式(2.2) 的方式实现感知机。在这个过程中，我们用Python的解释器逐一确认结果。

>>> import numpy as np
>>> x = np.array([0，1]) #输人
>>> w = np.array([0.5, 0.5]) #权重
>>> b =-0.7 #偏置
>>> w*x
array([ 0.，0.5]) 
>>> np.sum(w*x)
0.5
>>> np.sum(W*x) + b
- 0.19999999999996 #大约为-0.2(由浮点小数造成的运算误差)

如上例所示，在NumPy数组的乘法运算中，当两个数组的元素个数相同时，各个元素分别相乘，因此 $w*x$ 的结果就是它们的各个元素分别相乘 $([0，1] * [0.5，0.5] = [0, 0.5]$。 之后， $np.sum(w*x)$ 再计算相乘后的各个元素的总和。最后再把偏置加到这个加权总和上，就完成了式(2.2)的计算。

3.3 使用权重和偏置的代码实现

python代码实现与门

def AND(x1, x2):
	x = np.array([x1, x2])
	w = np.array([0.5， 0.5])
	b = -0.7
	tmp = np.sum(W*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1

这里把一 $θ$ 命名为偏置 $b$,但是请注意，偏置和权重 $w_1$、 $w_2$ 的作用是不一样的。具体地说， $w_1$和 $w_2$是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度(输出信号为1的程度)的参数。比如，若b为 $-0.1$,则只要输入信号的加权总和超过 $0.1$，神经元就会被激活。但是如果b为 $-20.0$，则输入信号的加权总和必须超过 $20.0$，神经元才会被激活。像这样，偏置的值决定了神经元被激活的容易程度。另外,这里我们将 $w_1$ 和 $w_2$ 称为权重，将b称为偏置，但是根据上下文，有时也会将 $b、w_1、w_2$ 这些参数统称为权重。

接着，我们继续实现与非门和或门。

def NAND(x1, x2):
	x = np.array([x1, x2])
	w = np.array([-0.5， -0.5]) #仅权重和偏置与AND不同!
	b=0.7
	tmp = np. sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1

def OR(x1,,x2):
	x = np.array([x1, x2])
	w = np.array([0.5, 0.5]) #仅权重和偏置与AND不同!
	b= -0.2
	tmp = np.sum(w*x) + b
	if tmp <= 0:
		return 0 :
	else:
		return 1

4. 感知机的局限性

到这里我们已经知道，使用感知机可以实现与门、与非门、或门三种逻辑电路。现在我们来考虑一下 异或门(XOR gate)。

4.1 异或门

异或]也被称为逻辑异或电路。如图2-5所示， 仅当 $x_1$ 或 $x_2$ 中的一方为1时，才会输出1(“异或”是拒绝其他的意思)。那么，要用感知机实现这个异或门的话，应该设定什么样的权重参数呢?

实际上，用前面介绍的感知机是无法实现这个异或门的。为什么用感知机可以实现与门、或门，却无法实现异或门呢?下面我们尝试通过画图来思考其中的原因。

首先，我们试着将或门的动作形象化。或门的情况下，当权重参数 $(b, w_1,w_2) = (-0.5, 1.0, 1.0)$时，可满足图2-4的真值表条件。此时，感知机可用下面的式(2.3)表示。

$y = \begin{cases}0, & \text{$(-0.5 + x_1 + x_2)≤0$}\\1,&\text{$(-0.5 + x_1 + x_2) > 0$}\end{cases}$

式(2.3) 表示的感知机会生成由直线 $-0.5+ x_1 + x_2= 0$ 分割开的两个空间。其中一个空间输出1，另一个空间输出0，如图2-6所示。

或门在 $(x_1,x_2)= (0,0)$ 时输出0,在 $(x_1,x_2)$ 为(0,1)、(1,0)、 (1,1)时输出1。图2-6中，O 表示0， $△$表示1。如果想制作或门，需要用直线将图2-6中的O和 $△$分开。实际上，刚才的那条直线就将这4个点正确地分开了。

那么，换成异或门的话会如何呢？能否像或门那样，用一条直线作出分割图2-7中的O和 $△$的空间呢?

想要用一条直线将图2-7中的O和 $△$分开，无论如何都做不到。事实上，用一条直线是无法将O和 $△$分开的。

4.2 线性和非线性

图2-7中的O和 $△$无法用一条直线分开,但是如果将“直线”这个限制条件去掉，就可以实现了。比如，我们可以像图2-8那样,作出分开O和 $△$的空间。

感知机的局限性就在于它只能表示由一 条直线分割的空间。图2-8这样弯曲的曲线无法用感知机表示。另外，由图2-8这样的曲线分割而成的空间称为 非线性空间，由直线分割而成的空间称为线性空间。线性、非线性这两个术语在机器学习领域很常见，可以将其想象成图2-6和图2-8所示的直线和曲线。

5. 多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以 “叠加层”(通过叠加层来表示异或门是本节的要点)。这里，我们暂且不考虑叠加层具体是指什么，先从其他视角来思考一下异或门的问题。

5.1 已有门电路的组合

异或门的制作方法有很多，其中之一就是组合我们前面做好的 与门、与非门、或门进行配置。这里，与门、与非门、或门用图2-9中的符号表示。另外，图2-9中与非门前端的O表示反转输出的意思。

那么，请思考一下，要实现异或门的话，需要如何配置与门、与非门和或门呢?这里给大家一个提示，用与门、与非门、或门代替图2-10中的各个“?”,就可以实现异或门。

异或门可以通过图2-11所示的配置来实现。这里, $x_1$ 和 $x_2$ 表示输人信号，y表示输出信号。 $x_I$ 和 $x_2$ 是与非门和或门的输如，而与非门和或门的输出则是与门的输入。

现在，我们来确认一下图2-11的配置是否真正实现了异或门。这里，把 $x_1$ 作为与非门的输出，把 $x_2$ 作为或门的输出，填入真值表中。结果如图2-12所示，观察 $x_1、x_2、 y$,可以发现确实符合异或门的输出。

5.2 异或门的实现

下面我们试着用Python来实现图2-11所示的异或门。使用之前定义的AND函数、NAND函数、OR函数，可以像下面这样(轻松地)实现。

def X0R(x1, x2):
	s1 = NAND(x1, x2)
	s2 = 0R(x1, x2)
	y = AND(s1， s2)
	return y

这样，异或门的实现就完成了。下面我们试着用 感知机的表示方法(明确地显示神经元)来表示这个异或门，结果如图2-13所示。

如图2-13所示，异或门是一种 多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。

图2-13所示的感知机与前面介绍的与门、或门的感知机(图2-1)形状不同。实际上，与门、或门是 单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机(multi-layered perceptron)。

在图2-13所示的2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收，然后在第1层和第2层之间进行信号的传送和接收，具体如下所示。

1. 第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。
2. 第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。

6. 小结

本章所学的内容

• 感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值。
• 感知机将权重和偏置设定为参数。
• 使用感知机可以表示与门和或门等逻辑电路。
• 异或门无法通过单层感知机来表示。
• 使用2层感知机可以表示异或门。
• 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间。