Pytorch 初次使用nn包

计算图和autograd是十分强大的工具，可以定义复杂的操作并自动求导；然而对于大规模的网络，autograd太过于底层。

在构建神经网络时，我们经常考虑将计算安排成层，其中一些具有可学习的参数，它们将在学习过程中进行优化。

TensorFlow里，有类似Keras，TensorFlow-Slim和TFLearn这种封装了底层计算图的高度抽象的接口，这使得构建网络十分方便。

在PyTorch中，包nn完成了同样的功能。nn包中定义一组大致等价于层的模块。一个模块接受输入的tesnor，计算输出的tensor，而且还保存了一些内部状态比如需要学习的tensor的参数等。nn包中也定义了一组损失函数（loss functions），用来训练神经网络。同时nn包中不光有一些激活函数和层操作外，还包含常见的损失函数。

代码如下：

import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

N, D_in, H, D_out = 64, 1000, 100, 10

#随机生成输入和输出

x = torch.randn(N, D_in, device=device)
y = torch.randn(N, D_out, device=device)


# 使用nn包将我们的模型定义为一系列的层。
# nn.Sequential是包含其他模块的模块，并按顺序应用这些模块来产生其输出。
# 每个线性模块使用线性函数从输入计算输出，并保存其内部的权重和偏差张量。
# 在构造模型之后，我们使用.to()方法将其移动到所需的设备。


model = torch.nn.Sequential(
 torch.nn.Linear(D_in,H),
 torch.nn.ReLU(),
 torch.nn.Linear(H, D_out),
).to(device)


'''
nn包中还有常用的损失函数的定义
MSELoss()中参数reducetion 初始为'mean',为均值，我们使用的是'sum'为和
但是在实践中，通过设置reduction='elementwise_mean'来使用均方误差作为损失更为常见
'''
loss_fn = torch.nn.MSELoss(reduction='elementwise_mean')

learning_rate = 1e-4

for t in range(500):

 '''
 该操作为前向传播，通过向模型中传入x，进而得到输出y
 同时该模块有__call__属性可以像调用函数一样调用他们
 这样我们输入张量x，得到了输出张量y_pred
 '''
 y_pred = model(x)
 loss = loss_fn(y_pred,y)
 print(t,loss.item())

 #运算之前清除梯度
 model.zero_grad()

 '''
 反向传播：计算模型的损失值对模型中可训练参数的梯度
 每个参数是否可训练取决于require_grad的布尔值
 所以此操作可以计算所有可训练参数的梯度
 '''
 loss.backward()

 #使用梯度下降进行更新
 #利用for循环取出model中的parameters()
 #在对param.data进行操作
 with torch.no_grad():
 for param in model.parameters():
 param.data -= learning_rate * param.grad

Pytorch 初次使用nn包

猜你喜欢