多层感知机模型讲解

具有多层输出的感知机如下图所示：
图中节点上的符号表示的含义是：

• $x^1_k$代表第1层上的第k个节点
• $O^1_k$同样代表第1层上的第k个节点

若能求出 $\frac{\nabla E}{\nabla w_{jk}}$的结果，便可知道所有的梯度信息

Derivative

首先我们定义 $E=\frac{1}{2}\sum_i(O^1_i - t_i)^2$
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{\nabl…
由推导结果可看出，一条边上的输出结果只与该线上的输入值 $x^0_j$和 $O^1_k$，因此对于一个多输出的感知机，对比单输出的感知机，改变了输出节点上的取值。单层为 $O_0$，多层为 $(O_k^1-t_k)$

import torch
import torch.nn.functional as F

x = torch.randn(1,10) # dim=1,len=10, x为[1,10]的矩阵
w = torch.randn(2, 10, requires_grad=True) # w为[2,10]的矩阵

o = torch.sigmoid(x@w.t()) # o为[1,2]的矩阵
print("o.shape: ", o.shape)

loss = F.mse_loss(input=o, target=torch.ones(1, 2))
print("loss: ", loss)
loss.backward()
print("w.grad: ", w.grad)