为日后方便复习，对Pytorch基础知识做了简单整理
关于优化器和loss的使用，可参考以下两篇博文：
Pytorch内部中optim和loss是如何交互的？
optimizer.step() 、loss.backward()和scheduler.step()的关系
针对李沐老师所讲的最简单的线性回归进行复现，熟悉各个工具的使用
生成数据集
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l
true_w = torch.tensor([2, -3.4])
true_b = 4.2
# 随机生成1000个feature和label
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
读取数据集
def load_array(data_arrays, batch_size, is_train=True): #@save
# 构造一个PyTorch数据迭代器
# torch.utils.data.TensorDataset(Dataset)：包装数据和目标张量的数据集，直接传入张量参数即可(*tensor)
# 该类通过每一个 tensor 的第一个维度进行索引。因此，该类中的 tensor 第一维度必须相等。
dataset = data.TensorDataset(*data_arrays)
# 通过DataLoader类从dataset中选取数据，每次读取大小为batch_size
return data.DataLoader(dataset, batch_size, shuffle=is_train)
batch_size = 10
# 传入张量数组，返回一个可迭代的张量组
data_iter = load_array((features, labels), batch_size)
使用 iter 构造Python迭代器，并使用 next 从迭代器中获取第一项。
# data_iter可以像迭代器一样使用，但实际不是迭代器
# 使用 iter 将其转换为Python迭代器，并使用 next 从迭代器中获取第一项验证结果是否正确
next(iter(data_iter))
[tensor([[-0.5462, -0.5694],
[-0.1199, 1.4400],
[-0.9094, 0.7440],
[-0.4621, -0.1859],
[ 1.4985, 0.9781],
[-0.5760, -0.9617],
[ 0.6076, 0.0953],
[ 0.5949, -0.8725],
[ 0.9307, -0.8785],
[ 0.7497, 0.3243]]),
tensor([[ 5.0473],
[-0.9440],
[-0.1661],
[ 3.9095],
[ 3.8756],
[ 6.3346],
[ 5.0914],
[ 8.3452],
[ 9.0604],
[ 4.5921]])]
定义模型
from torch import nn
# nn.Linear(2, 1)输入维度为2，输出维度为1
net = nn.Sequential(nn.Linear(2, 1))
初始化模型参数
# 使用正态分布替换weight的值
net[0].weight.data.normal_(0, 0.01)
# bias设为0
net[0].bias.data.fill_(0)
tensor([0.])
定义损失函数和优化算法
# 计算均方误差使用的是MSELoss类，也称为平方 L2 范数。默认情况下，它返回所有样本损失的平均值
loss = nn.MSELoss()
# PyTorch 在 optim 模块实现了 SGD ，仅需指定优化的参数（可通过 net.parameters() 从我们的模型中获得）以及优化算法所需的超参数字典
# 小批量随机梯度下降只需要设置 lr值，这里设置为 0.03。
trainer = torch.optim.SGD(net.parameters(), lr=0.03)
训练
回顾一下：在每个迭代周期里，我们将完整遍历一次数据集（train_data），不停地从中获取一个小批量的输入和相应的标签。对于每一个小批量，我们会进行以下步骤:
-
通过调用 net(X) 生成预测并计算损失 l（正向传播）。
-
通过进行反向传播来计算梯度。
-
通过调用优化器来更新模型参数。
num_epochs = 3
for epoch in range(num_epochs):
for X, y in data_iter:
# 向loss中传入net的参数
l = loss(net(X), y)
trainer.zero_grad()
l.backward()
trainer.step()
l = loss(net(features), labels)
print(f'epoch {
epoch + 1}, loss {
l:f}')
epoch 1, loss 0.000429
epoch 2, loss 0.000103
epoch 3, loss 0.000102
# 比较生成数据集的真实参数和通过有限数据训练获得的模型参数
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)
w的估计误差： tensor([0.0007, 0.0002])
b的估计误差： tensor([6.5327e-05])
可以看到，利用Pytorch神经网络工具箱，仅需40余行代码就可简单实现回归问题，效率提升明显