BP神经网络——一个3层神经网络

# 这是一个3层神经网络
import numpy as np
def nonlin(x, deriv=False):
    if (deriv == True):
        return x * (1 - x)
    
    return 1 / (1 + np.exp(-x))

X = np.array([[0, 0, 1],
              [0, 1, 1],
              [1, 0, 1],
              [1, 1, 1]])

y = np.array([[0],
              [1],
              [1],
              [0]])

np.random.seed(1)

# 用均值0随机初始化我们的权重
syn0 = 2 * np.random.random((3, 4)) - 1
syn1 = 2 * np.random.random((4, 1)) - 1

for j in range(60000):

    # 通过层0,1和2前馈
    l0 = X
    l1 = nonlin(np.dot(l0, syn0))
    l2 = nonlin(np.dot(l1, syn1))

    # 我们错过了多少目标价值？
    l2_error = y - l2

    if (j % 10000) == 0:
        print("Error:", str(np.mean(np.abs(l2_error))))

    # 目标值在哪个方向？
    # 我们真的很确定吗？ 如果是这样，不要改变太多。
    l2_delta = l2_error * nonlin(l2, deriv=True)

    # 每个l1值对l2误差贡献了多少（根据权重）？
    l1_error = l2_delta.dot(syn1.T)

    # 目标l1在哪个方向？
    # 我们真的很确定吗？ 如果是这样，不要改变太多。
    l1_delta = l1_error * nonlin(l1, deriv=True)

    syn1 += l1.T.dot(l2_delta)
    syn0 += l0.T.dot(l1_delta)