PyTorchの基本：ニューラルネットワークパッケージnnとオプティマイザーoptm
torch.nnは、ニューラルネットワーク用に特別に設計されたモジュラーインターフェイスです。nnはAutograd上に構築されており、ニューラルネットワークの定義と実行に使用できます。
ここでは主にいくつかの一般的に使用されるクラスを紹介します
規則：torch.nn便宜上、彼のエイリアスをnnとして設定します。この章では、nn以外にも他の命名規則があります。
# 首先要引入相关的包
import torch
# 引入torch.nn并指定别名
import torch.nn as nn
#打印一下版本
torch.__version__
'1.0.0'
nnエイリアスに加えて、nn.functionalも引用しました。このパッケージには、ニューラルネットワークで使用される一般的に使用される関数がいくつか含まれています。これらの関数の特徴は、学習可能なパラメーター（ReLU、プール、DropOutなど）がないことです。 ）関数はコンストラクターに配置することも配置しないこともできますが、ここではお勧めしません。
通常の状況では、nn.functionalは大文字のFに設定されるため、省略形は簡単に呼び出すことができます。
import torch.nn.functional as F
ネットワークを定義する
PyTorchは、nn.Moduleを継承し、そのforwardメソッドを実装する限り、既製のネットワークモデルを用意しています。PyTorchは、autogradに従って、backward関数を自動的に実装します。forward関数では、テンソルでサポートされている任意の関数を使用できます。 。if、forループ、印刷、ログなどのPython構文を使用すると、書き込みは標準のPython書き込みと一致します。
class Net(nn.Module):
def __init__(self):
# nn.Module子类的函数必须在构造函数中执行父类的构造函数
super(Net, self).__init__()
# 卷积层 '1'表示输入图片为单通道， '6'表示输出通道数，'3'表示卷积核为3*3
self.conv1 = nn.Conv2d(1, 6, 3)
#线性层，输入1350个特征，输出10个特征
self.fc1 = nn.Linear(1350, 10) #这里的1350是如何计算的呢？这就要看后面的forward函数
#正向传播
def forward(self, x):
print(x.size()) # 结果：[1, 1, 32, 32]
# 卷积 -> 激活 -> 池化
x = self.conv1(x) #根据卷积的尺寸计算公式，计算结果是30，具体计算公式后面第二章第四节 卷积神经网络 有详细介绍。
x = F.relu(x)
print(x.size()) # 结果：[1, 6, 30, 30]
x = F.max_pool2d(x, (2, 2)) #我们使用池化层，计算结果是15
x = F.relu(x)
print(x.size()) # 结果：[1, 6, 15, 15]
# reshape，‘-1’表示自适应
#这里做的就是压扁的操作 就是把后面的[1, 6, 15, 15]压扁，变为 [1, 1350]
x = x.view(x.size()[0], -1)
print(x.size()) # 这里就是fc1层的的输入1350
x = self.fc1(x)
return x
net = Net()
print(net)
Net(
(conv1): Conv2d(1, 6, kernel_size=(3, 3), stride=(1, 1))
(fc1): Linear(in_features=1350, out_features=10, bias=True)
)
ネットワークの学習可能なパラメーターは、net.parameters（）によって返されます。
for parameters in net.parameters():
print(parameters)
Parameter containing:
tensor([[[[ 0.2745, 0.2594, 0.0171],
[ 0.0429, 0.3013, -0.0208],
[ 0.1459, -0.3223, 0.1797]]],
[[[ 0.1847, 0.0227, -0.1919],
[-0.0210, -0.1336, -0.2176],
[-0.2164, -0.1244, -0.2428]]],
[[[ 0.1042, -0.0055, -0.2171],
[ 0.3306, -0.2808, 0.2058],
[ 0.2492, 0.2971, 0.2277]]],
[[[ 0.2134, -0.0644, -0.3044],
[ 0.0040, 0.0828, -0.2093],
[ 0.0204, 0.1065, 0.1168]]],
[[[ 0.1651, -0.2244, 0.3072],
[-0.2301, 0.2443, -0.2340],
[ 0.0685, 0.1026, 0.1754]]],
[[[ 0.1691, -0.0790, 0.2617],
[ 0.1956, 0.1477, 0.0877],
[ 0.0538, -0.3091, 0.2030]]]], requires_grad=True)
Parameter containing:
tensor([ 0.2355, 0.2949, -0.1283, -0.0848, 0.2027, -0.3331],
requires_grad=True)
Parameter containing:
tensor([[ 2.0555e-02, -2.1445e-02, -1.7981e-02, ..., -2.3864e-02,
8.5149e-03, -6.2071e-04],
[-1.1755e-02, 1.0010e-02, 2.1978e-02, ..., 1.8433e-02,
7.1362e-03, -4.0951e-03],
[ 1.6187e-02, 2.1623e-02, 1.1840e-02, ..., 5.7059e-03,
-2.7165e-02, 1.3463e-03],
...,
[-3.2552e-03, 1.7277e-02, -1.4907e-02, ..., 7.4232e-03,
-2.7188e-02, -4.6431e-03],
[-1.9786e-02, -3.7382e-03, 1.2259e-02, ..., 3.2471e-03,
-1.2375e-02, -1.6372e-02],
[-8.2350e-03, 4.1301e-03, -1.9192e-03, ..., -2.3119e-05,
2.0167e-03, 1.9528e-02]], requires_grad=True)
Parameter containing:
tensor([ 0.0162, -0.0146, -0.0218, 0.0212, -0.0119, -0.0142, -0.0079, 0.0171,
0.0205, 0.0164], requires_grad=True)
net.named_parametersは、学習可能なパラメーターと名前を同時に返すことができます。
for name,parameters in net.named_parameters():
print(name,':',parameters.size())
conv1.weight : torch.Size([6, 1, 3, 3])
conv1.bias : torch.Size([6])
fc1.weight : torch.Size([10, 1350])
fc1.bias : torch.Size([10])
フォワード関数の入力と出力は両方ともテンソルです
input = torch.randn(1, 1, 32, 32) # 这里的对应前面fforward的输入是32
out = net(input)
out.size()
torch.Size([1, 1, 32, 32])
torch.Size([1, 6, 30, 30])
torch.Size([1, 6, 15, 15])
torch.Size([1, 1350])
torch.Size([1, 10])
input.size()
torch.Size([1, 1, 32, 32])
バックプロパゲーションの前に、まずすべてのパラメータの勾配をクリアします
net.zero_grad()
out.backward(torch.ones(1,10)) # 反向传播的实现是PyTorch自动实现的，我们只要调用这个函数即可
注：torch.nnはミニバッチのみをサポートし、一度に1つのサンプルの入力をサポートしていません。つまり、一度に1つのバッチを入力する必要があります。
つまり、サンプルを入力しても、サンプルはバッチに分割されるため、すべての入力が1次元増加します。ここで入力を比較してみましょう。nnは3次元として定義されていますが、次の場合に追加しました。手動で作成しました。1つのディメンションは4つのディメンションになり、最初の1つはバッチサイズになります。
損失関数
nnでは、PyTorchは一般的に使用される損失関数も事前に作成しました。以下では、MSELossを使用して平均二乗誤差を計算します。
y = torch.arange(0,10).view(1,10).float()
criterion = nn.MSELoss()
loss = criterion(out, y)
#loss是个scalar，我们可以直接用item获取到他的python类型的数值
print(loss.item())
28.92203712463379
オプティマイザ
バックプロパゲーションがすべてのパラメーターの勾配を計算した後、ネットワークの重みとパラメーターを更新するための最適化方法も必要です。たとえば、確率的勾配降下法（SGD）の更新戦略は次のとおりです。
重み=重み-learning_rate *勾配
RMSProp、Adam、SGDなどのほとんどの最適化メソッドをtorch.optimに実装します。以下では、簡単な例としてSGDを使用します。
import torch.optim
out = net(input) # 这里调用的时候会打印出我们在forword函数中打印的x的大小
criterion = nn.MSELoss()
loss = criterion(out, y)
#新建一个优化器，SGD只需要要调整的参数和学习率
optimizer = torch.optim.SGD(net.parameters(), lr = 0.01)
# 先梯度清零(与net.zero_grad()效果一样)
optimizer.zero_grad()
loss.backward()
#更新参数
optimizer.step()
torch.Size([1, 1, 32, 32])
torch.Size([1, 6, 30, 30])
torch.Size([1, 6, 15, 15])
torch.Size([1, 1350])
このように、ニューラルネットワークデータの完全な普及はPyTorchを通じて達成されました。次の章では、必要なデータを便利に処理するために使用できるPyTorchが提供するデータロードおよび処理ツールを紹介します。
このセクションを読んだ後でも、ニューラルネットワークモデルの一部のパラメーターの計算方法に疑問があるかもしれません。このパートについては、第2章のセクション4、畳み込みニューラルネットワーク、および第3章のセクション2のMNISTデータで詳しく説明します。手書きの数値認識のための実用的なコードには詳細な注記があります。