1、题目及实现思路
题目：假设我们有 4 个 2 维的数据，数据的特征分别是(3,3),(4,3),(1,1),(2,1)。
(3,3),(4,3) 这两个数据的标签为 1，
(1,1),(2,1)这两个数据的标签为-1。
构建神经网络来进行分类。
思路：我们要分类的数据是 2 维数据，所以只需要 2 个输入节点（一般输入数据有几个特征，我们就设置几个输入神经元），我们可以把神经元的偏置值也设置成一个输入节点。这样我们需要 3 个输入节点。
输入数据有 4 个(1,3,3),(1,4,3),(1,1,1),(1,2,1)
数据对应的标签为(1,1,-1,-1)
初始化权值 w1,w2,w3 取 0 到 1 的随机数
学习率 lr(learning rate)设置为 0.1
激活函数为 sign 函数
我们可以构建一个单层感知器如图所示。
2、代码实战
import numpy as np
import matplotlib.pyplot as plt
# 定义输入，我们习惯上用一行代表一个数据
X = np.array([[1,3,3],
[1,4,3],
[1,1,1],
[1,2,1]])
# 定义标签，我们习惯上用一行表示一个数据的标签
T = np.array([[1],
[1],
[-1],
[-1]])
# 权值初始化，3行1列
# np.random.random可以生成0-1的随机数
W = np.random.random([3,1])
# 学习率设置
lr = 0.1
# 神经网络输出
Y = 0
# 更新一次权值
def train():
# 使用全局变量W
global W
# 同时计算4个数据的预测值
# Y的形状为(4,1)-4行1列
Y = np.sign(np.dot(X,W))
# T - Y得到4个的标签值与预测值的误差E。形状为(4,1)
E = T - Y
# X.T表示X的转置矩阵，形状为(3,4)
# 我们一共有4个数据，每个数据3个值。定义第i个数据的第j个特征值为xij
# 如第1个数据，第2个值为x12
# X.T.dot(T - Y)为一个3行1列的数据：
# 第1行等于：x00×e0+x10×e1+x20×e2+x30×e3，它会调整第1个神经元对应的权值
# 第2行等于：x01×e0+x11×e1+x21×e2+x31×e3，它会调整第2个神经元对应的权值
# 第3行等于：x02×e0+x12×e1+x22×e2+x32×e3，它会影调整3个神经元对应的权值
# X.shape表示X的形状X.shape[0]得到X的行数，表示有多少个数据
# X.shape[1]得到列数，表示每个数据有多少个特征值。
# 这里的公式跟书中公式3.2看起来有些不同，原因是这里的计算是矩阵运算，书中公式3.2是单个元素的计算。如果在草稿子上仔细推算的话你会发现它们的本质是一样的
delta_W = lr * (X.T.dot(E)) / X.shape[0]
W = W + delta_W
# 训练100次
for i in range(100):
#更新一次权值
train()
# 打印当前训练次数
print('epoch:',i + 1)
# 打印当前权值
print('weights:',W)
# 计算当前输出
Y = np.sign(np.dot(X,W))
# .all()表示Y中的所有值跟T中所有值都对应相等，结果才为真
if(Y == T).all():
print('Finished')
# 跳出循环
break
#————————以下为画图部分————————#
# 正样本的xy坐标
x1 = [3,4]
y1 = [3,3]
# 负样本的xy坐标
x2 = [1,2]
y2 = [1,1]
# 计算分类边界线的斜率以及截距
# 神经网络的信号总和为w0×x0+w1×x1+w2×x2
# 当信号总和大于0再进过激活函数，模型的预测值会得到1
# 当信号总和小于0再进过激活函数，模型的预测值会得到-1
# 所以当信号总和w0×x0+w1×x1+w2×x2=0时为分类边界线表达式
# 我们在画图的时候把x1，x2分别看成是平面坐标系中的x和y
# 可以得到：w0 + w1×x + w2 × y = 0
# 经过通分：y = -w0/w2 - w1×x/w2，因此可以得到：
k = - W[1] / W[2]
d = -W[0] / W[2]
# 设定两个点
xdata = (0,5)
# 通过两个点来确定一条直线，用红色的线来画出分界线
plt.plot(xdata,xdata * k + d,'r')
# 用蓝色的点画出正样本
plt.scatter(x1,y1,c='b')
# 用黄色的点来画出负样本
plt.scatter(x2,y2,c='y')
# 显示图案
plt.show()
结果：
因为权值的初始化使用的是随机的初始化方式，所以每一次训练的周期以及画出来的图 可能都是不一样的。这里我们可以看到单层感知器的一个问题，虽然单层感知器可以顺利地 完成分类任务，但是使用单层感知器来做分类的时候，最后得到的分类边界距离某一个类别 比较近，而距离另一个类别比较远，并不是一个特别理想的分类效果。