[pytorch、学習] -3.11モデルの選択、過適合および過剰適合

参照

3.11モデルの選択、過適合および過剰適合

3.11.1トレーニングエラーと汎化エラー

上記の現象を説明する前に、トレーニングエラーと汎化エラーを区別する必要があります。一般的に、前者はトレーニングデータセットのモデルによって示されるエラーを指し、後者は任意のテストデータサンプルのモデルの予想されるエラーを指し、多くの場合、テストデータセットのエラーによって近似されます。トレーニングエラーと汎化エラーを計算するには、線形回帰で使用される二乗損失関数やソフトマックス回帰で使用されるクロスエントロピー損失関数など、以前に導入された損失関数を使用できます。

トレーニングエラーと汎化エラーの2つの概念を直感的に説明するために、大学入試を例として取り上げましょう。トレーニングエラーは、過去の大学入試質問（トレーニング質問）を行ったときのエラー率と見なすことができ、汎化エラーは、実際に大学入試を行ったときの回答エラー率（テスト質問）で概算できます。トレーニングの質問とテストの質問の両方が、同じシラバスに基づいて未知の巨大な質問バンクからランダムにサンプリングされたとします。中学生の知識を習得していない小学生に質問への回答を求めた場合、テスト問題とトレーニング問題のエラー率は非常に似ている可能性があります。ただし、訓練問題を繰り返し練習して答える高校準備生に置き換えると、訓練問題の誤り率が0であっても、実際の大学入試結果がこのようになるわけではありません。

機械学習では、通常、トレーニングデータセット（トレーニング質問）とテストデータセット（テスト質問）の各サンプルが、同じ確率分布から互いに独立して生成されると想定しています。独立した同一の分布の仮定に基づいて、任意の機械学習モデル（パラメーターを含む）が与えられると、そのトレーニングエラーの期待値と汎化エラーは同じになります。たとえば、モデルパラメータをランダムな値（小学生）に設定すると、トレーニングエラーと汎化エラーは非常に似たものになります。しかし、前のセクションから、モデルのパラメーターはトレーニングデータセットでモデルをトレーニングすることによって学習され、パラメーターの選択はトレーニングエラー（高校生の準備）を最小限に抑えることに基づいていることを学びました。したがって、予想されるトレーニングエラーは汎化エラー以下です。つまり、一般に、トレーニングデータセットから学習されたモデルパラメータにより、トレーニングデータセットでのモデルのパフォーマンスがテストデータセットでのパフォーマンスと同等かそれ以上になります。汎化誤差はトレーニング誤差から推定できないため、トレーニング誤差を盲目的に削減しても、汎化誤差が削減されるわけではありません。

機械学習モデルは、汎化誤差の削減に重点を置く必要があります。

3.11.2モデルの選択

機械学習では、通常、いくつかの候補モデルのパフォーマンスを評価し、それらからモデルを選択する必要があります。このプロセスはモデル選択と呼ばれます。多層パーセプトロンを例にとると、隠れ層の数、各隠れ層の隠れユニットの数、および活性化関数を選択できます。効果的なモデルを取得するには、通常、モデルの選択に一生懸命取り組む必要があります。以下では、モデル選択でよく使用される検証データセットについて説明します。

3.11.2.1検証データセット

厳密に言えば、テストセットは、すべてのハイパーパラメータとモデルが選択された後に1回だけ使用できます。テストデータセットを使用して、チューニングパラメータなどのモデルを選択することはできません。汎化誤差はトレーニングエラーから推定できないため、モデルの選択はトレーニングデータだけに頼るべきではありません。これを考慮して、モデル選択のためにトレーニングデータセットの一部とテストデータセット外のデータを予約することができます。データのこの部分は、検証データセット、または略して検証セットと呼ばれます。

ただし、実際のアプリケーションでは、データの取得が容易ではないため、テストデータを一度使用して破棄することはめったにありません。したがって、検証データセットとテストデータセットの境界は実際にはぼやけている可能性があります。厳密に言えば、特に明記しない限り、本書の実験で使用するテストセットは検証セットであり、実験レポートのテスト結果（テスト精度など）は検証結果（検証精度など）である必要があります。

3.11.2.2K分割交差検定

検証データセットはモデルトレーニングに参加しないため、トレーニングデータが十分でない場合、大量の検証データを予約するにはコストがかかりすぎます。改善された方法は、K分割交差検定です。K分割交差検定では、元のトレーニングデータセットをK個の重複しないサブデータセットに分割してから、K回のモデルトレーニングと検証を行います。毎回、サブデータセットを使用してモデルを検証し、他のK-1サブデータセットを使用してモデルをトレーニングします。これらのK回のトレーニングと検証では、モデルの検証に使用されるサブデータセットは毎回異なります。最後に、K個のトレーニングエラーと検証エラーをそれぞれ平均します。

3.11.3過適合と過剰適合

過適合：モデルはより低いエラーを取得できません
。過剰適合：トレーニングセットのモデルのエラーは、テストセットのエラーよりもはるかに小さいです。

3.11.3.1モデルの複雑さ

3.11.3.2トレーニングデータセットのサイズ

過適合と過剰適合に影響を与えるもう1つの重要な要因は、トレーニングデータセットのサイズです。一般的に、トレーニングデータセットのサンプル数が少なすぎる場合、特にモデルパラメーターの数（要素ごと）が少ない場合は、過剰適合が発生する可能性が高くなります。さらに、トレーニングデータセットのサンプル数が増えても、汎化誤差は増えません。したがって、コンピューティングリソースの許容範囲内では、特に、より多くの層を持つ深層学習モデルなど、モデルの複雑さが高い場合は、通常、トレーニングデータセットが大きくなることが望まれます。

3.11.4多項式関数フィッティング実験

import torch
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

3.11.4.1本番データセット

n_train, n_nest, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = torch.randn((n_train + n_nest, 1))
poly_features = torch.cat((features, torch.pow(features, 2), torch.pow(features, 3)), 1)   # 按列拼起来
labels = (true_w[0] * poly_features[:,0] + true_w[1] * poly_features[:,1] + true_w[2] * poly_features[:, 2] + true_b)

labels += torch.tensor(np.random.normal(0, 0.01, size = labels.size()), dtype=torch.float)

3.11.4.2定義とトレーニングモデル

def semilogy(x_vals, y_vals, x_label, y_label, x2_vals=None, y2_vals=None, legend=None, figsize=(3.5, 2.5)):
    d2l.set_figsize(figsize)
    d2l.plt.xlabel(x_label)
    d2l.plt.ylabel(y_label)
    d2l.plt.semilogy(x_vals, y_vals)
    if x2_vals and y2_vals:
        d2l.plt.semilogy(x2_vals, y2_vals, linestyle=":")
        d2l.plt.legend(legend)

num_epochs, loss = 100, torch.nn.MSELoss()

def fit_and_plot(train_features, test_features, train_labels, test_labels):
    net = torch.nn.Linear(train_features.shape[-1], 1)   # 线性,传入输入输出即可
    
    batch_size = min(10, train_labels.shape[0])
    dataset = torch.utils.data.TensorDataset(train_features, train_labels)
    # Dataloader根据 TensorDataset、batch_size随机取值返回
    train_iter = torch.utils.data.DataLoader(dataset, batch_size, shuffle = True)
    
    # optim传入模型的参数和学习率,返回一个优化器
    optimizer = torch.optim.SGD(net.parameters(), lr=0.01)
    train_ls, test_ls = [], []
    
    for _ in range(num_epochs):
        for X, y in train_iter:
            l = loss(net(X), y.view(-1, 1))
            optimizer.zero_grad()  # 将上一次的梯度清0
            l.backward()
            optimizer.step()
        train_labels = train_labels.view(-1, 1)
        test_labels = test_labels.view(-1, 1)
        train_ls.append(loss(net(train_features), train_labels).item())
        test_ls.append(loss(net(test_features), test_labels).item())
    print('final epoch: train loss', train_ls[-1], 'test loss', test_ls[-1])
    semilogy(range(1, num_epochs + 1), train_ls, 'epochs', 'loss',
             range(1, num_epochs + 1), test_ls, ['train', 'test'])
    print('weight:', net.weight.data,
          '\nbias:', net.bias.data)

3.11.4.3 3次多項式関数フィッティング（通常）

fit_and_plot(poly_features[:n_train, :], poly_features[n_train:, :], 
            labels[:n_train], labels[n_train:])

3.11.4.4線形関数フィッティング（アンダーフィッティング）

fit_and_plot(features[:n_train, :], features[n_train:, :], labels[:n_train],
             labels[n_train:])

3.11.4.5不十分なトレーニングサンプル（過剰適合）

fit_and_plot(poly_features[0:2, :], poly_features[n_train:, :], labels[0:2],
             labels[n_train:])