Learning materials:
hands-on deep learning PYTORCH version (DEMO)
(https://github.com/ShusenTang/Dive-into-DL-PyTorch)
PDF 制作by [Marcus Yang](https://github.com/chenyang1999)
Direct code code:
#在jupyter notebook上运行需要添加
%matplotlib inline
import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random
''' 人工⽣成数据集（有数据集可跳过） '''
num_inputs = 2 # 输入特征数为2
num_examples = 1000 # 训练数据集样本数
true_w = [2, -3.4] # 使⽤线性回归模型真实权重
true_b = 4.2 # 使⽤线性回归模型真实偏差
# 设置输入样本的特征值，在0与1之间
features = torch.from_numpy(np.random.normal(0, 1, (num_examples,num_inputs)))
# 根据真实特征值计算真实标签
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] +true_b
# 为真实标签添加噪声，噪声项服从均值为0、标准差为0.01的正态分布。
labels += torch.from_numpy(np.random.normal(0, 0.01,size=labels.size())
'''
读取数据：
在训练模型的时候，我们需要遍历数据集并不断读取小批量数据样本。
这里我们定义一个函数:它每次返回batch_size(批量大小)个随机样本的特征和标签。
'''
def data_iter(batch_size,features,labels):
num_examples = len(features)
indices = list(range(num_examples))
random.shuffle(indices) # 样本的读取顺序是随机的
for i in range(0, num_examples, batch_size):
# 最后⼀次可能不⾜⼀个batch
j = torch.LongTensor(indices[i: min(i + batch_size,num_examples)])
yield features.index_select(0, j), labels.index_select(0, j)
'''
初始化模型参数
'''
# 我们将权重初始化成均值为0、标准差为0.01的正态随机数，偏差则初始化成0。
w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)),dtype=torch.float32) b = torch.zeros(1, dtype=torch.float32)
b = torch.zeros(1, dtype=torch.float32)
#之后的模型训练中，需要对这些参数求梯度来迭代参数的值，因此我们要让它们requires_grad=True
w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)
'''
定义模型
'''
def linreg(X, w, b):
return torch.mm(X, w) + b
'''
定义损失函数
'''
def squared_loss(y_hat, y):
# 注意这⾥返回的是向量, 另外, pytorch⾥的MSELoss并没有除以 2
return (y_hat - y.view(y_hat.size())) ** 2 / 2
'''
定义优化算法
sgd函数小批量随机梯度下降算法：
它通过不断迭代模型参数来优化损失函数。
这里自动求梯度模块计算得来的梯度是一个批量样本的梯度和。我们将它除以批量大小来得到平均值。
'''
def sgd(params, lr, batch_size):
for param in params:
# 注意这⾥更改param时⽤的param.data
param.data -= lr * param.grad / batch_size
'''
训练模型
在每次迭代中，我们根据当前读取的⼩批量数据样本（特征 X 和标签 y ），通过调⽤反向函数 backward 计算⼩批量随机梯度，并调⽤优化算法 sgd 迭代模型参数。
由于我们之前设批量⼤⼩ batch_size 为10，每个⼩批量的损失 l 的形状为(10, 1)。
由于变量 l 并不是⼀个标量，所以我们可以调⽤ .sum() 将其求和得到⼀个标量，再运⾏ l.backward() 得到该变量有关模型参数的梯度。
注意在每次更新完参数后不要忘了将参数的梯度清零。
在⼀个迭代周期（epoch）中，我们将完整遍历⼀遍 data_iter 函数，并对训练数据集中所有样本都使⽤⼀次（假设样本数能够被批量⼤⼩整除）。
这⾥的迭代周期个数num_epochs 和学习率 lr 都是超参数，分别设3和0.03。
在实践中，⼤多超参数都需要通过反复试错来不断调节。
'''
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss
for epoch in range(num_epochs):
for X, y in data_iter(batch_size, features, labels):
l = loss(net(X, w, b), y).sum() # l是有关⼩批量X和y的损失
l.backward() # ⼩批量的损失对模型参数求梯度
sgd([w, b], lr, batch_size) # 使⽤⼩批量随机梯度下降迭代模型参数
# 不要忘了梯度清零
w.grad.data.zero_()
b.grad.data.zero_()
train_l = loss(net(features, w, b), labels)
print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))
'''