生成数据集
我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为 1000，输入个数（特征数）为 2。给定随机生成的批量样本特征 X∈ℝ1000×2X∈R1000×2，我们使用线性回归模型真实权重 w=[2,−3.4]⊤w=[2,−3.4]⊤ 和偏差 b=4.2b=4.2，以及一个随机噪音项 ϵϵ 来生成标签
y=Xw+b+ϵ,y=Xw+b+ϵ,
其中噪音项 ϵϵ 服从均值为 0 和标准差为 0.01 的正态分布。下面，让我们生成数据集。
定义模型：
构造一个数据迭代器-》定义网络模型、定义损失函数、定义优化模型-》训练模型
训练模型
在训练中，我们将多次迭代模型参数。在每次迭代中，我们根据当前读取的小批量数据样本（特征X和标签y），通过调用反向函数backward计算小批量随机梯度，并调用优化算法sgd迭代模型参数。由于我们之前设批量大小batch_size为 10，每个小批量的损失l的形状为（10，1）。由于变量l并不是一个标量，运行l.backward()将对l中元素求和得到新的变量，再求该变量有关模型参数的梯度。
在一个迭代周期（epoch）中，我们将完整遍历一遍data_iter函数，并对训练数据集中所有样本都使用一次（假设样本数能够被批量大小整除）。这里的迭代周期个数num_epochs和学习率lr都是超参数，分别设 3 和 0.03。在实践中，大多超参数都需要通过反复试错来不断调节。当迭代周期数设的越大时，虽然模型可能更有效，但是训练时间可能过长。
%matplotlib inline
from IPython import display
from matplotlib import pyplot as plt
from mxnet import autograd,nd
import random
num_inputs=2#两个特征
num_examples=1000
true_w=[2,-3.4]
true_b=4.2
#y[i]=2*X[i][0]-3.4*X[i][1]+4.2+nose
features=nd.random.normal(scale=1,shape=(num_examples,num_inputs))
labels=true_w[0]*features[:,0]+true_w[1]*features[:,1]+true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)#生成方差为0.1的噪声并且加上Y才是最终的Y
#X是每一行是一个长度为 2 的向量，而Y的每一行是一个长度为 1 的向量（标量）
#用于显示图，
# def use_svg_display():
# # 用矢量图显示。
# display.set_matplotlib_formats('svg')
# def set_figsize(figsize=(3.5, 2.5)):
# use_svg_display()
# # 设置图的尺寸。
# plt.rcParams['figure.figsize'] = figsize
# set_figsize()
# plt.scatter(features[:, 1].asnumpy(), labels.asnumpy(), 1);
#Mxnet的数据格式为NDArray，当需要读取可观看的数据，就要调用：.asnumpy()
# 在训练模型的时候，我们需要遍历数据集并不断读取小批量数据样本。
# 这里我们定义一个函数：它每次返回batch_size（批量大小）个随机样本的特征和标签
#通过python和yield来构造一个迭代器
def data_iter(batch_size,features,labels):
batch_size=10
num_examples=len(features)
#产生一个随机索引
idx=list(range(num_examples))
random.shuffle(idx)#打乱顺序
for i in range(0,num_examples):
j=nd.array(idx[i:min(i+batch_size,num_examples)])
yield features.take(j),labels.take(j) #在numpy中take函数根据索引返回对应的元素
#yield就是 return 返回一个值，并且记住这个返回的位置，下次迭代就从这个位置后开始
#初始化模型参数
#我们将权重初始化成均值为 0 标准差为 0.01 的正态随机数，偏差则初始化成 0。
w = nd.random.normal(scale=0.01, shape=(num_inputs, 1))
b = nd.zeros(shape=(1,))
#我们需要对这些参数求梯度来迭代参数的值，因此我们需要创建它们的梯度。
w.attach_grad()
b.attach_grad()
#定义模型def
def linreg(X,w,b):
return nd.dot(X,w)+b
#定义损失函数
def squared_loss(y_hat, y):
return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2
#定义优化算法¶
#以下的sgd函数实现了上一节中介绍的小批量随机梯度下降算法。它通过不断迭代模型参数来优化损失函数。
#这里自动求梯度模块计算得来的梯度是一个批量样本的梯度和。我们将它除以批量大小来得到平均值。
def sgd(params, lr, batch_size):
for param in params:
param[:] = param - lr * param.grad / batch_size
#训练模型
# 在训练中，我们将多次迭代模型参数。在每次迭代中，我们根据当前读取的小批量数据样本（特征X和标签y），
# 通过调用反向函数backward计算小批量随机梯度，并调用优化算法sgd迭代模型参数。
# 由于我们之前设批量大小batch_size为 10，每个小批量的损失l的形状为（10，1）。
# 由于变量l并不是一个标量，运行l.backward()将对l中元素求和得到新的变量，再求该变量有关模型参数的梯度。
# 在一个迭代周期（epoch）中，我们将完整遍历一遍data_iter函数，并对训练数据集中所有样本都使用一次（假设样本数能够被批量大小整除）。
# 这里的迭代周期个数num_epochs和学习率lr都是超参数，分别设 3 和 0.03。
# 在实践中，大多超参数都需要通过反复试错来不断调节。当迭代周期数设的越大时，虽然模型可能更有效，但是训练时间可能过长。
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss
batch_size=10
for epoch in range(num_epochs): # 训练模型一共需要 num_epochs 个迭代周期。
# 在一个迭代周期中，使用训练数据集中所有样本一次（假设样本数能够被批量大小整除）。
# X 和 y 分别是小批量样本的特征和标签。
for X, y in data_iter(batch_size, features, labels):
with autograd.record():
l = loss(net(X, w, b), y) # l 是有关小批量 X 和 y 的损失。
l.backward() # 小批量的损失对模型参数求梯度。
sgd([w, b], lr, batch_size) # 使用小批量随机梯度下降迭代模型参数。
train_l = loss(net(features, w, b), labels)
print('epoch %d, loss %f' % (epoch + 1, train_l.mean().asnumpy()))