「実践ディープラーニング + PyTorch」3.6 ソフトマックス回帰をゼロから達成するまでの学習メモ

---

序文

ソフトマックス回帰は、多項または多カテゴリ ロジスティック回帰とも呼ばれ、多分類問題に対するロジスティック回帰を促進するものです。

---

1. トレーニング セットとテスト セット

前のセクションで取得したデータセット Fashion-MNIST を使用します。

2 つのステップ

1.ライブラリをインポートする

import torch
import torchvision
import numpy as np
import sys
sys.path.append("..") # 为了导入上层目录的d2lzh_pytorch
from d2lzh_pytorch import *
import d2lzh_pytorch as d2l

2. データの読み取り

batch_size =256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

d2l.load_data_fashion_mnist(batch_size)

この機能は、前回の講義で行った作業を 1 つの機能に統合することに相当します。
この関数は d2lzh パッケージに保存されています

def load_data_fashion_mnist(batch_size, resize=None, root='~/Datasets/FashionMNIST')
    trans = []
    if resize:
        trans.append(torchvision.transforms.Resize(size=resize))	#因为resize=None所以不会执行这一步
    trans.append(torchvision.transforms.ToTensor())	#转化为tensor形式
    
    transform = torchvision.transforms.Compose(trans)	#读取图像
    mnist_train = torchvision.datasets.FashionMNIST(root=root, train=True, download=True, transform=transform)	#上一讲有说，下载训练集数据
    mnist_test = torchvision.datasets.FashionMNIST(root=root, train=False, download=True, transform=transform)	#上一讲有说，下载测试集数据
    
    if sys.platform.startswith('win'):
        num_workers = 0  # 0表示不用额外的进程来加速读取数据
    else:
        num_workers = 4	#设置4个进程读取数据
    train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=num_workers)
    test_iter = torch.utils.data.DataLoader(mnist_test, batch_size=batch_size, shuffle=False, num_workers=num_workers)

    return train_iter, test_iter  

以下は 2 番目の if ステートメントの説明です。
トレーニング データ セットでモデルをトレーニングし、テスト データ セットでトレーニングされたモデルのパフォーマンスを評価します。前述したように、mnist_trainこれはtorch.utils.data.Datasetサブクラスであるため、これを渡して、torch.utils.data.DataLoaderデータ サンプルの小さなバッチを読み取る DataLoader インスタンスを作成できます。
実際には、特にモデルが比較的単純である場合やコンピューティング ハードウェアのパフォーマンスが高い場合には、データの読み取りがトレーニングのパフォーマンスのボトルネックになることがよくあります。PyTorch の DataLoader の便利な機能は、マルチプロセッシングを使用してデータの読み取りを高速化する機能です。ここでは、パラメータ num_workers を使用して、データを読み取る 4 つのプロセスを設定します。

3. モデルパラメータの初期化

num_inputs =784
num_outputs = 10

W = torch.tensor(np.random.normal(0, 0.01, (num_inputs,num_outputs)),
                 dtype=torch.float)
b = torch.zeros(num_outputs, dtype=torch.float)

W.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)

4. モデルを定義する

def softmax(X):
    X_exp = X.exp()
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition

def net(X):
    return softmax(torch.mm(X.view((-1, num_inputs)),W) + b)

X.exp()

eのX乗を返します

X_exp.sum(dim=1, keepdim=True)

torch.sum()
入力テンソル データの特定の次元を合計するには、同じ列 (dim=0) または同じ行 (dim=1) の要素を合計し、行と列の 2 つの次元を結果に保持する 2 つの方法があります。(keepdim=True)。

.mm(）行列の乗算は.view()行列の形状を再定義します

5. 損失関数を定義する

y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
y = torch.LongTensor([0, 2])
y_hat.gather(1, y.view(-1, 1))

def cross_entropy(y_hat,y):
    return - torch.log(y_hat.gather(1, y.view(-1,1)))

.LongTensor()

Longtensor 型に変換する

torch.gather(input, dim, index, out=None) → Tensor

返されるテンソルのサイズはインデックスのサイズと同じです。
dim は、index の要素値が表す次元を示すために使用されます。この機能を利用すると、指定した位置の要素を簡単に抽出することができます。(単一要素を抽出するのではなく、正方行列を抽出します)

6. 分類精度を計算する

def accuracy(y_hat,y):
    return (y_hat.argmax(dim=1) == y).float().mean().item()

print(accuracy(y_hat, y))

.argmax(dim=1)

最大の数値のインデックスを返します

.item()

python import torch x = torch.randn(2, 2) 
print(x) 
print(x[1,1])
print(x[1,1].item())

tensor([[ 0.4702,  0.5145],
        [-0.0682, -1.4450]]) 
tensor(-1.4450)
-1.445029854774475 

item() は浮動小数点データを返すため、損失や精度を求める場合は、対応する要素 x[1, 1] 。

# 本函数已保存在d2lzh_pytorch包中方便以后使用。该函数将被逐步改进：它的完整实现将在“图像增广”一节中描述
def evaluate_accuracy(data_iter, net):
    acc_sum, n = 0.0, 0
    for X, y in data_iter:
        acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()
        n += y.shape[0]
    return acc_sum / n

7. トレーニングモデル

num_epochs, lr = 4, 0.1
train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, batch_size, [W, b], lr)

train_ch3()d2lzh パッケージに保存

def train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, params=None, lr=None, optimizer=None):
    for epoch in range(num_epochs):
        train_l_sum, train_acc_sum, n = 0.0, 0.0, 0
        for X, y in train_iter:
            y_hat = net(X)
            l = loss(y_hat, y).sum()
            
            # 梯度清零
            if optimizer is not None:
                optimizer.zero_grad()
            elif params is not None and params[0].grad is not None:
                for param in params:
                    param.grad.data.zero_()
                    
            l.backward()
            if optimizer is None:
                sgd(params, lr, batch_size)
            else:
                optimizer.step()  # “softmax回归的简洁实现”一节将用到
                
            train_l_sum += l.item()
            train_acc_sum += (y_hat.argmax(dim=1) == y).sum().item()
            n += y.shape[0]
        test_acc = evaluate_accuracy(test_iter, net)
        print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'
              % (epoch + 1, train_l_sum / n, train_acc_sum / n, test_acc)) 
         

train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, batch_size, [W, b], lr)

net モデル
train_iter トレーニング データ
test_iter テスト データ
loss 損失値
num_epochs トレーニング サイクル数
patch_size バッチ サイズ
params=[W, b] モデル パラメーター
lr step size
optimizer=None

8. 予報

X ,y = iter(test_iter).next()

true_labels = d2l.get_fashion_mnist_labels(y.numpy())
pred_labels = d2l.get_fashion_mnist_labels(net(X).argmax(dim=1).numpy())
titles = [true +'\n' + pred for true, pred in zip(true_labels, pred_labels)]

d2l.show_fashion_mnist(X[0:9], titles[0:9])

---

要約する

「実践ディープラーニング + PyTorch」3.6 ソフトマックス回帰をゼロから達成するまでの学習メモ