ReLU激活函数训练神经网络示例

import numpy as np
import matplotlib.pyplot as plt

#选定随机数种子 使实验效果可复现
np.random.seed(1)

#非线性方程 用作激活函数
def relu(X,derive=False):
    if not derive:
        return np.maximum(0,X)
    return (X>0).astype(float) #relu的导数

nonline=relu

#输入
X=np.array([[0,0,1],
            [0,1,1],
            [1,0,1],
            [1,1,1]])

#输出
y=np.array([[0],
            [1],
            [1],
            [0]])

#权重和偏移
W1=2*np.random.random((3,4))-1
b1=0.1*np.ones((4,))
W2=2*np.random.random((4,1))-1
b2=0.1*np.ones((1,))

e=[]
#学习率
rate=0.01
train_times=2000
for time in range(train_times):
    #第一层
    A1=np.dot(X,W1)+b1
    Z1=nonline(A1)
    #第二层
    A2=np.dot(Z1,W2)+b2
    Z2=nonline(A2)
    _y=Z2
    
    #损失函数
    cost=_y-y #(y-_y)**2/2
    e.append(np.mean(np.abs(cost)))
    
    #求delta ★★★★★ 推导过程是算法关键
    delta_A2=cost*nonline(Z2,derive=True)
    delta_b2=delta_A2.sum(axis=0)
    delta_W2=np.dot(Z1.T,delta_A2)
    
    delta_A1=np.dot(delta_A2,W2.T)*nonline(Z1,derive=True)
    delta_b1=delta_A1.sum(axis=0)
    delta_W1=np.dot(X.T,delta_A1)
    
    W1-=rate*delta_W1
    b1-=rate*delta_b1
    W2-=rate*delta_W2
    b2-=rate*delta_b2
    
print("prediction: ")
print(_y)