本篇开始学习搭建真正的神经网络，前一部分讨论深度学习中预处理数据的基本流程；后一部分构建了两种全连接网络，用三种不同方案拟合时序数据；并在例程中详细分析误差函数，优化器，网络调参，以及数据反向求导的过程。
数据预处理
本篇使用航空乘客数据AirPassengers.csv，其中包括从1949-1960年每月旅客的数量，程序则用于预测未来几年中每月的旅客数量，数据可从以下Git项目中下载。
1．读取数据
首先，引入必要的头文件，并从文件中读入数据：
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import torch
import torch.nn as nn
from torch.autograd import Variable
df = pd.read_csv('data/AirPassengers.csv')
plt.plot(df['#Passengers'])
plt.show()
程序输出如下图所示：
2．归一化
无论机器学习还是深度学习，使用哪一种框架，归一化都是必要环节。归一化的目标是将每一维特征压缩到一定范围之内，以免不同特征因取值范围不同而影响其权重。非常大或非常小的值搭配上不恰当的学习率，往往使得收敛过慢，或者因每次调整的波动太大最终无法收敛。归一化去除了这些不稳定因素。
归一化的具体做法是将某一列特征转换成均值为 0、标准差为1的数据，在图像处理过程中，也常把0-255之间的颜色值转换为0-1之间的小数。
本例中使用了均值和标准差编写了归一化和反归一化函数：
def feature_normalize(data):
mu = np.mean(data,axis=0) # 均值
std = np.std(data,axis=0) # 标准差
return (data - mu)/std
def feature_unnormalize(data, arr):
mu = np.mean(data,axis=0)
std = np.std(data,axis=0)
return arr * std + mu
3．提取新特征
提取新特征是指从现有特征中提取更多可以代入模型的信息，从而生成新特征，本例中的数据包括两列，第一列“Month”是字符串类型的时间，第二列“#Passengers”是乘客量，也就是需要预测的数据y。下面通过拆分和类型转换，从第一列中提取具体的年“year”和月“mon”，将索引列变为特征“x”，并使用上面定义的函数实现归一化功能。
df['year'] = df['Month'].apply(lambda x: float(x[:4]))
df['mon'] = df['Month'].apply(lambda x: float(x[5:]))
df['x'] = feature_normalize(df.index)
df['y'] = feature_normalize(df['#Passengers'])
df['year'] = feature_normalize(df['year'])
df['mon'] = feature_normalize(df['mon'])
df['real'] = feature_unnormalize(df['#Passengers'], df['y'])
处理后的数据如下图所示：
4．处理缺失值和异常值
处理缺失值和异常值也是特征工程的重要环节，有时花费的时间比建模还多。处理缺失值的常用方法是删除重要特征缺失的item，或者用均值，前后值填充；处理异常值是监测数据中不正常的值，并做出相应处理，由于本例中数据比较“干净”，无需做缺失值和异常值处理。
5．向量化
向量化是将读出的数据转换成模型需要的数据格式，根据不同的模型做法不同，本例中的向量化将在后面的模型部分实现。
6．切分训练集和测试集
训练前还需要把数据切分成训练集和测试集，以避免过拟合，本例中将70%的数据用于训练，最终模型将对所有数据预测并做图。
TRAIN_PERCENT = 0.7
train_size = int(len(df) * TRAIN_PERCENT)
train = df[:train_size]
拟合直线
拟合程序分成三部分：定义模型、优化器和误差函数；训练模型；预测并做图。
1．定义模型、优化器、误差函数
模型继承自mm.Module，并实现了两个核心函数，init用于初始化模型结构，forward用于定义前向传播的过程。本例中实现了最为简单的模型，其中只包含一个全连接层，使用nn.Linear定义，torch.nn中定义了常用的网络层实现。
class LinearRegression(nn.Module):
def __init__(self):
super(LinearRegression, self).__init__()
self.linear = nn.Linear(1, 1) # 输入和输出的维度都是1
def forward(self, x):
x = self.linear(x)
return x
model = LinearRegression()
criterion = nn.MSELoss() # 损失函数：均方误差
optimizer = torch.optim.SGD(model.parameters(), lr=0.001) # 优化算法：随机梯度下降
损失函数使用了均方误差 MSELoss，它计算的是预测值与真值之差平方的期望值，MSELoss也是回归中最常用的损失函数，torch.nn中实现了一些常用的损失函数，可以直接使用，
优化的目标是更好地更新参数，使模型快速收敛。优化算法就是调整模型参数更新的策略，优化器是优化算法的具体实现。本例中优化器optimizer使用了最基础的随机梯度下降optim.SGD优化方法，torch.optim中定义了常用的优化器。在参数中设置了学习率为0.001，并将模型的参数句柄传入优化器，优化器后期将调整这些参数。
注意：学习率是一个重要参数，最好从小到大设置，如果设置太大，可能造成每次对参数修改过大，造成抖动，使得最终无法收敛。
2．训练模型
训练之前，先把数据转换成模型需要的数据格式，将pandas的数据格式转换为float32格式的Tensor张量，然后用unsqueeze扩展维度到2维（unsqueeze已在上一篇详细介绍）。
x = torch.unsqueeze(torch.tensor(np.array(train['x']), dtype=torch.float32), dim=1)
y = torch.unsqueeze(torch.tensor(np.array(train['y']), dtype=torch.float32), dim=1)
for e in range(10000):
inputs = Variable(x)
target = Variable(y)
out = model(inputs) # 前向传播
loss = criterion(out, target) # 计算误差
optimizer.zero_grad() # 梯度清零
loss.backward() # 后向传播
optimizer.step() # 调整参数
if (e+1) % 1000 == 0: # 每1000次迭代打印一次误差值
print('Epoch:{}, Loss:{:.5f}'.format(e+1, loss.item()))
后面的循环部分进行了10000次迭代，也就是说将所有数据放进模型训练了10000次，从而使模型收敛。每一次循环之中，将x,y分别转换成变量Variable格式。
然后进行前先传播，model(inputs)调用的是nn.Module 的call()函数（call是Python类中的一个特殊方法，如果类中定义了此方法，可以通过实例名加括号的方式调用该方法）父类的call()调用了前向函数forward()将数据传入层中处理。
接下来是误差函数和优化器配合调整模型参数，此处到底修改了哪些值，又是如何修改的，是最难理解的部分。先通过定义的误差函数计算误差，从loss值可以看到每一次迭代之后误差的情况。
下一步是优化器清零，调用优化器的zero_grad方法，清除了model.parameters中的梯度grad。
之后是反向传播，误差函数的backward，调用了torch.autograd.backward()函数，backward()是上面定义的forward()的反向过程，对每层每一个参数求导，并填充在model.parameters的grad中。
最后调用优化器的step方法（step的具体实现可参考torch源码中optim/sgd.py中的step函数），它使用model.parameters中的梯度grad和设置的学习率、动量等参数计算出model.parameters的新data值，形如：weight = weight - learning_rate * gradient。
可以说，最后几步都是针对model.parameters模型参数的修改。整个过程可以通过跟踪model.parameters的data和grad的内容变化来分析。方法如下：
for p in model.parameters():
print(p.data, p.grad)
也可以在程序中加入以下代码，用于跟踪后向传播的过程：
f = loss.grad_fn
while True:
print(f)
if len(f.next_functions) == 0:
break
f = f.next_functions[0][0]
3．预测和做图
本例中用70%数据作为训练集，用所有数据作为测试集，因此，用全部数据重新计算了x,y值；使用eval函数将模型转换为测试模式（有一些层在训练模型和预测模型时有差别）；将数据代入模型预测，并转换成numpy格式作图显示。
x = torch.unsqueeze(torch.tensor(np.array(df['x']), dtype=torch.float32), dim=1)
y = torch.unsqueeze(torch.tensor(np.array(df['y']), dtype=torch.float32), dim=1)
model.eval() #将模型变为测试模式
predict = model(Variable(x)) # 预测
predict = predict.data.numpy() # 转换成numpy格式
plt.plot(x.numpy(), y.numpy(), 'y')
plt.plot(x.numpy(), predict)
plt.show()
程序运行结果如下图所示，可以看到模型用一条直线拟合曲线，在前70%的训练数据中表现更好。
多特征拟合
直线拟合的原理是y=kx+b，求斜率k和截距b。其中的x是数据产生的时间，从数据表的索引号转换求得，y是乘客量。还可以使用另一些方法进一步拟合曲线。如：
- 方法一曲线拟合：从图像数据可以看出，乘客数据走势更拟合一条微微上翘的曲线，设y是x的多项式函数，可使用多项式拟合：y=ax3+bx2+cx+d。
- 方法二多特征拟合：代入更多条件，比如利用年份、月份作为参数代入模型。
多参数拟合人x不止一个，可能是{x1,x2,x3...}，设计模型时只需要把输入参数变成多个即可。
1．定义模型、优化器、误差函数
与直线拟合的差异是将输入维度变为3维，模型、优化器、误差函数不变。
class Net2(torch.nn.Module):
def __init__(self):
super(Net2, self).__init__()
self.linear = nn.Linear(3, 1) # 输入3维，输出1维
def forward(self, x):
x = self.linear(x)
return x
model = Net2()
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
2．训练模型
训练模型步分的主要差异在于处理输入数据，get_data函数分别提供了两种方法，前一种方法用于多项式拟合，后一种方法将年，月信息也作为代入模型的特征，此处，可以更好地理解全连接层的两维输入，其中一维是实例个数，另一维是实例中的各个特征。
def get_data(train):
if False: # 可切换两种方法
inputs = [[i, i*i, i*i*i] for i in train['x']] # 一个x变成3维输入数据
else:
inputs = [[item['x'], item['year'], item['mon']] for idx,item in train.iterrows()]
X = torch.tensor(np.array(inputs), dtype=torch.float32)
y = torch.unsqueeze(torch.tensor(np.array(train['y']), dtype=torch.float32), dim=1)
return X, y
X, y = get_data(train)
for e in range(20000):
inputs = Variable(X)
target = Variable(y)
out = model(inputs) # 前向传播
loss = criterion(out, target) # 计算误差
optimizer.zero_grad() # 清零
loss.backward() # 后向传播
optimizer.step() # 调整参数
if (e+1) % 1000 == 0:
print('Epoch:{}, Loss:{:.5f}'.format(e+1, loss.item()))
3．预测和做图
预测和做图只有取数据部分与直线拟合不同。
model.eval() #将模型变为测试模式
X, y = get_data(df)
predict = model(Variable(X)) # 预测
predict = predict.data.numpy() # 转换成numpy格式
plt.plot(y.numpy(), 'y')
plt.plot(predict)
plt.show()
两种方法拟合的曲线如下图所示：
上述程序都基于线性拟合，由于月份和乘客量并无单调上升关系（年峰值在七八月），因此，线性拟合方法效果也不是很好。读者如有兴趣，可以通过预处理进一步优化该程序的效果。
总结
本篇介绍的方法，使用Pytorch深度学习框架解决了线性回归问题，第一个例程中实现的是一元线性回归，第二个例程使用的方法类似于SVM中的核函数以及多元线性回归。
使用机器学习或者传统的统计学方法也能实现线性回归，且一些机器学习方法能更好地拟合本例中的曲线。本篇主要通过例程介绍全连接层的功能和用法，只使用了一层，还谈不上深度学习。在下篇中将使用RNN网络拟合本例中的数据，以达到更好的拟合效果，并借此介绍循环网络的原理、具体实现、以及RNN相关API的调用方法。
