PyTorchの基本（3つ）-----ニューラルネットワークパッケージnnおよびオプティマイザーoptim

序文

torch.nnは、ニューラルネットワーク用に特別に設計されたモジュラーインターフェイスです。nnはAutograd上に構築されており、ニューラルネットワークの定義と実行に使用できます。ここでは、主にいくつかの一般的に使用されるクラスを紹介します。
規則：torch.nn便宜上、彼のエイリアスをnnとして設定します。この章では、nn以外にも他の命名規則があります。

import torch
import torch.nn as nn
torch.__version__

nnエイリアスに加えて、nn.functionalも引用しました。このパッケージには、ニューラルネットワークで使用される一般的に使用される関数がいくつか含まれています。これらの関数の特徴は、学習可能なパラメーター（ReLU、プール、DropOutなど）がないことです。 ）関数はコンストラクターに配置することも配置しないこともできますが、ここではお勧めしません。
通常の状況では、nn.functionalを大文字のFに設定します。これにより、省略形を呼び出すのに便利です。

import torch.nn.functional as F

1.一般的な操作

操作名	前書き
nn.Conv2d	入力画像に2次元畳み込みを適用します
nn.MaxPool2d	入力画像に2次元の最大プーリングを適用します
nn.AvgPool2d	入力画像に2次元平均プーリングを適用します
nn.ReLU	非線形補正ユニットReLUを適用します
nn.Linear	入力データに線形変換を適用します。これは、完全に接続されたレイヤーと呼ばれることがよくあります。
nn.CrossEntropyLoss	クロスエントロピー損失関数
nn.Upsample	アップサンプリング、画像セグメンテーションが頻繁に使用されます
nn.Dropout	ドロップアウトレイヤーを適用します
nn.MSELoss	平均二乗誤差損失関数
nn.BatchNorm1d	アプリケーションBNレイヤー

方法が多すぎるため、リストはごくわずかです。詳細については、PyTorchの公式Webサイトにアクセスしてください。リストされている一般的に使用される方法は、一般的に使用される方法の単なる例です（一部の方法にはパラメーターが多すぎて、私自身の能力では、書かれた言葉で明確に説明できない場合があるため）。

• nn.Conv2d（in_channels、out_channels、kernel_size）：オプションのパラメーターはここでは省略されています

  • in_channels（int）：入力画像のチャンネル数

  • out_channels（int）：畳み込みによって生成されたチャネルの数

  • kernel_size（intまたはtuple）：畳み込みカーネルのサイズ。正方形の場合はintを使用し、正方形でない場合はtupleを使用します。

  • ケーススタディ

  # With square kernels and equal stride
  m = nn.Conv2d(16,33,3,stride = 2)
  # With square kernels and unequal stride and with padding
  m = nn.Conv2d(16, 33, (3, 5), stride=(2, 1), padding=(4, 2))
  input = torch.randn(20,16,50,100)
  output = m(input)
  

• nn.MaxPool2d（kernel_size、stride）：一般的に使用されるいくつかのパラメーターをここにリストし、残りは省略します
  • kernel_size（intまたはtuple）：プーリングウィンドウサイズ
  • stride（intまたはtuple）：プーリングのステップサイズ
  • padding（intまたはtuple）：プールされたパディング。デフォルトは0です。
  • ケーススタディ

  # pool of square window of size=3, stride=2
  m = nn.MaxPool2d(3,stride = 2)
  # pool of non-square window
  m = nn.MaxPool2d((3, 2), stride=(2, 1))
  input = torch.randn(20, 16, 50, 32)
  output = m(input)
  

• nn.AvgPool2d（kernel_size、stride）：いくつかの一般的に使用されるパラメーターがここにリストされ、残りは省略されています
  • kernel_size（intまたはtuple）：プーリングウィンドウサイズ
  • stride（intまたはtuple）：プーリングのステップサイズ
  • padding（intまたはtuple）：プールされたパディング。デフォルトは0です。
  • ケーススタディ

  # pool of square window of size=3, stride=2
  m = nn.AvgPool2d(3, stride=2)
  # pool of non-square window
  m = nn.AvgPool2d((3, 2), stride=(2, 1))
  input = torch.randn(20, 16, 50, 32)
  output = m(input)
  

• nn.Linear（in_features、out_features、bias）
  • in_features：入力特徴の数
  • out_features：出力機能の数
  • バイアス：バイアス
  • ケーススタディ

  m = nn.Linear(20, 30)
  input = torch.randn(128, 20)
  output = m(input)
  print(output.size())
  torch.Size([128, 30])
  

2、ケース+関連コードコメント

その前に、まずPyTorchで準備されたネットワークモデルnn.Moduleを理解する必要があります。自分で定義したネットワークモデルは、nn.Moduleを継承し、そのforward（）メソッドを実装するだけです。PyTorchはAutogradに従って自動的にbackward（）関数を実装します。forward関数では、Tensorでサポートされている任意の関数を使用できます。 if、for、printなどのPython文法は、標準のPythonと同じ方法で記述されているため、これを使用することもできます。

class Net(nn.Module):
    def __init__(self):
        # nn.Module子类的函数必须在构造函数中执行父类的构造函数
        super(Net, self).__init__()
        
        # 卷积层 '1'表示输入图片为单通道， '6'表示输出通道数，'3'表示卷积核为3*3
        self.conv1 = nn.Conv2d(1, 6, 3) 
        #线性层，输入1350个特征，输出10个特征
        self.fc1   = nn.Linear(1350, 10)  #这里的1350是如何计算的呢？这就要看后面的forward函数
    #正向传播 
    def forward(self, x): 
        print(x.size()) # 结果：[1, 1, 32, 32]
        # 卷积 -> 激活 -> 池化 
        x = self.conv1(x) #根据卷积的尺寸计算公式，计算结果是30，具体计算公式后面第二章第四节 卷积神经网络 有详细介绍。
        x = F.relu(x)
        print(x.size()) # 结果：[1, 6, 30, 30]
        x = F.max_pool2d(x, (2, 2)) #我们使用池化层，计算结果是15
        x = F.relu(x)
        print(x.size()) # 结果：[1, 6, 15, 15]
        # reshape，‘-1’表示自适应
        #这里做的就是压扁的操作 就是把后面的[1, 6, 15, 15]压扁，变为 [1, 1350]
        x = x.view(x.size()[0], -1) 
        print(x.size()) # 这里就是fc1层的的输入1350 
        x = self.fc1(x)        
        return x
        
net = Net()
print(net)

• 運転結果

Net(
  (conv1): Conv2d(1, 6, kernel_size=(3, 3), stride=(1, 1))
  (fc1): Linear(in_features=1350, out_features=10, bias=True)
)

• ネットワークの学習可能なパラメーターは、net.parameters（）によって返されます。

for parameters in net.parameters():
    print(parameters)

• 運転結果

Parameter containing:
tensor([[[[ 0.2745,  0.2594,  0.0171],
          [ 0.0429,  0.3013, -0.0208],
          [ 0.1459, -0.3223,  0.1797]]],


        [[[ 0.1847,  0.0227, -0.1919],
          [-0.0210, -0.1336, -0.2176],
          [-0.2164, -0.1244, -0.2428]]],


        [[[ 0.1042, -0.0055, -0.2171],
          [ 0.3306, -0.2808,  0.2058],
          [ 0.2492,  0.2971,  0.2277]]],


        [[[ 0.2134, -0.0644, -0.3044],
          [ 0.0040,  0.0828, -0.2093],
          [ 0.0204,  0.1065,  0.1168]]],


        [[[ 0.1651, -0.2244,  0.3072],
          [-0.2301,  0.2443, -0.2340],
          [ 0.0685,  0.1026,  0.1754]]],


        [[[ 0.1691, -0.0790,  0.2617],
          [ 0.1956,  0.1477,  0.0877],
          [ 0.0538, -0.3091,  0.2030]]]], requires_grad=True)
Parameter containing:
tensor([ 0.2355,  0.2949, -0.1283, -0.0848,  0.2027, -0.3331],
       requires_grad=True)
Parameter containing:
tensor([[ 2.0555e-02, -2.1445e-02, -1.7981e-02,  ..., -2.3864e-02,
          8.5149e-03, -6.2071e-04],
        [-1.1755e-02,  1.0010e-02,  2.1978e-02,  ...,  1.8433e-02,
          7.1362e-03, -4.0951e-03],
        [ 1.6187e-02,  2.1623e-02,  1.1840e-02,  ...,  5.7059e-03,
         -2.7165e-02,  1.3463e-03],
        ...,
        [-3.2552e-03,  1.7277e-02, -1.4907e-02,  ...,  7.4232e-03,
         -2.7188e-02, -4.6431e-03],
        [-1.9786e-02, -3.7382e-03,  1.2259e-02,  ...,  3.2471e-03,
         -1.2375e-02, -1.6372e-02],
        [-8.2350e-03,  4.1301e-03, -1.9192e-03,  ..., -2.3119e-05,
          2.0167e-03,  1.9528e-02]], requires_grad=True)
Parameter containing:
tensor([ 0.0162, -0.0146, -0.0218,  0.0212, -0.0119, -0.0142, -0.0079,  0.0171,
         0.0205,  0.0164], requires_grad=True)

• net.named_pa​​rametersは、学習可能なパラメーターと名前を同時に返すことができます。

for name,parameters in net.named_parameters():
    print(name,':',parameters.size())

• 簡単にテストしてみましょう。フォワード関数の入力と出力は両方ともテンソルであることに注意してください。

input = torch.randn(1, 1, 32, 32) # 这里的对应前面fforward的输入是32
out = net(input)
out.size()

• バックプロパゲーションの前に、まずすべてのパラメータの勾配をクリアします

net.zero_grad() 
out.backward(torch.ones(1,10)) # 反向传播的实现是PyTorch自动实现的，我们只要调用这个函数即可

注： torch.nnはミニバッチのみをサポートし、一度に1つのサンプルの入力をサポートしていません。つまり、一度に1つのバッチを入力する必要があります。
つまり、サンプルを入力しても、サンプルはバッチに分割されるため、すべての入力が1次元増加します。ここで入力を比較してみましょう。nnは3次元として定義されていますが、次の場合に追加しました。手動で作成しました。1つのディメンションは4つのディメンションになり、最初の1つはバッチサイズになります。

三、オプティマイザーオプティム

バックプロパゲーションのすべてのパラメーターの勾配を計算した後、ネットワークの重みとパラメーターを更新するための最適化方法が必要です。ここでは、最適化方法の簡単な紹介のみを示します。

最適化	更新戦略を最適化する
SGD確率的勾配降下法
運動量を伴う確率的勾配降下法
アダグラード
アダム	この方法は、MomentumとAdagradの方法を組み合わせたものです

RMSProp、Adam、SGDなど、ほとんどの最適化メソッドはtorch.optimライブラリに実装されています。以下では、簡単な例としてSGDを使用します。

• 最初にoptimパッケージをインポートします

import torch.optim

• ネットワークパラメータを更新する

out = net(input) # 这里调用的时候会打印出我们在forword函数中打印的x的大小
criterion = nn.MSELoss()
loss = criterion(out, y)
#新建一个优化器，SGD只需要要调整的参数和学习率
optimizer = torch.optim.SGD(net.parameters(), lr = 0.01)
# 先梯度清零(与net.zero_grad()效果一样)
optimizer.zero_grad() 
loss.backward()

#更新参数
optimizer.step()

参照

• https://pytorch.org/docs/stable/nn.html
• https://github.com/zergtant/pytorch-handbook/blob/master/chapter2/2.1.3-pytorch-basics-nerual-network.ipynb