【人工知能入門】K分割交差検証

【人工知能入門】K分割交差検証

---

1. 簡易検証とその欠点

1.1 簡易検証の概要

• 単純な検証: 元のデータ セットをトレーニング セットと検証セットにランダムに分割します。たとえば、データを 7:3 の比率に従って 2 つの部分に分割し、サンプルの 70% がモデルのトレーニングに使用され、30% がモデルのトレーニングに使用されます。以下に示すように、サンプルの一部はモデルの検証に使用されます。

1.2 簡易検証のデメリット

• データは 1 回だけ使用されます。
• 検証セットで計算された評価指標は、元のグループ化と強い関係があります。
• 時系列シーケンスの場合、時系列情報を保存するために、データの順序を崩してランダムにデータを横取りすることができないことが多く、たとえば、学習には常に春、夏、秋のデータが使用されます。テストには冬のデータが使用されていますが、これは明らかに問題があり、容認できません。

2. K 分割相互検証

• 単純な相互検証の欠点を解決するために、K 分割相互検証が導入されます。これにより、データセット内のデータ量が不十分であるという問題を解決できるだけでなく、パラメーター調整の問題も解決できます。。

2.1 K 分割相互検証の考え方

1. まず、すべてのサンプルを同じサイズの k 個のサンプル サブセットに分割します。
2. k 個のサブセットは順番に走査され、そのたびに現在のサブセットが検証セットとして使用され、残りのすべてのサンプルがモデルをトレーニングおよび評価するためのトレーニング セットとして使用されます。
3. 最後に、ｋ個の評価指標の平均が最終的な評価指標として使用される。実際の実験では、下図に示すように、k は通常 10 になります。

2.2 細かい詳細

• K フォールド相互検証には、次のフォールドのトレーニングが前のフォールドに基づいていないという詳細があります。つまり、新しいフォールドごとにモデル パラメーターを再初期化する必要があります。
• K 分割相互検証は検証のみに使用できるため、その結果をモデル パラメーターの保存や判断の基礎として使用することはできませんが、スーパー パラメーターの組み合わせを決定したり、モデル構造を調整したりするために使用できます。トレーニング用にモデルを再初期化し、モデル パラメーターを改善します。
• 連続した情報を含むデータの場合、異なるフォールド間でパフォーマンスに大きな差があるかどうかを確認する必要があります。

2.3 K 分割相互検証の欠点

• トレーニング セッションを実行するために K フォールド相互検証に必要なエポックの総数は、各フォールドのトレーニング エポック数とフォールドの総数 (K) の積であるため、トレーニングのコストは 2 倍になります。

2.4 K 分割交差検証コード

import torch
import random
from torch.utils.data import DataLoader, TensorDataset
from Model.ReconsModel.Recoder import ReconsModel, Loss_function
from Model.ModelConfig import ModelConfig

# 返回第 i+1 折（i取 0 ~ k-1）的训练集(train)与验证集(valid)
def get_Kfold_data(k, i, x):  # k是折数，取第i+1折，x是特征数据
    fold_size = x.size(0) // k  # 计算每一折中的数据数量
    val_start = i * fold_size  # 第 i+1折 数据的测试集初始数据编号
    if i != k - 1:  # 不是最后一折的话，数据的分配策略
        val_end = (i + 1) * fold_size  # 验证集的结束
        valid_data = x[val_start: val_end]
        train_data = torch.cat((x[0: val_start], x[val_end:]), dim=0)
    else:  # 如果是最后一折，数据的分配策略，主要涉及到不能K整除时，多出的数据如何处理
        valid_data = x[val_start:]  # 实际上，多出来的样本，都放在最后一折里了
        train_data = x[0: val_start]

    return train_data, valid_data


# k折交叉验证，某一折的训练
def train(model, train_data, valid_data, batch_size, lr,epochs):
    # 数据准备
    train_loader = DataLoader(TensorDataset(train_data), batch_size, shuffle=True)
    valid_loader = DataLoader(TensorDataset(valid_data), batch_size, shuffle=True)

    # 损失函数，优化函数的准备
    criterion = Loss_function()
    optimizer = torch.optim.Adam(params=model.parameters(), lr=lr)

    # 记录每一个epoch的平均损失
    train_loss = []
    valid_loss = []


    for epoch in range(epochs):
        tra_loss = 0
        val_loss = 0
        for i , data in enumerate(train_loader):

            # 假设数据的处理 此时的data是list类型的数据，转化成Tensor，并且把多出来的第0维去掉
            data = torch.stack(data)
            data = data.squeeze(0)


            optimizer.zero_grad()  # 梯度清零
            recon, mu, log_std = model(data, if_train=True)  # if_train不能少

            # 计算损失
            loss = criterion.loss_function(recon, data, mu, log_std)

            # 反向传播
            loss.backward()
            optimizer.step()

            tra_loss = tra_loss + loss.item()
        tra_loss = tra_loss / len(train_data)
        train_loss.append(tra_loss)

        # 计算测试集损失
        with torch.no_grad():
            for i, data in enumerate(valid_loader):

                # 假设数据的处理 此时的data是list类型的数据，转化成Tensor，并且把多出来的第0维去掉
                data = torch.stack(data)
                data = data.squeeze(0)

                optimizer.zero_grad()

                recon, mu, log_std = model(data, if_train=False)

                test_loss = criterion.loss_function(recon, data, mu, log_std).item()

                val_loss = val_loss + test_loss
            val_loss = val_loss / len(valid_data)
            valid_loss.append(val_loss)

        print('第 %d 轮， 训练的平均误差为%.3f， 测试的平均误差为%.3f 。'%(epoch+1, tra_loss, val_loss))
    return train_loss, valid_loss

# k折交叉验证
def k_test(config, datas): # k是总折数，
    valid_loss_sum = 0

    for i in range(config.k):

        model = ReconsModel(config) # 细节，每一折，并不是在上一折训练好的模型基础上继续训练，而是重新训练

        print('-'*25,'第',i+1,'折','-'*25)

        train_data , valid_data = get_Kfold_data(config.k, i, datas) # 获取某一折的训练数据、测试数据

        train_loss, valid_loss = train(model, train_data, valid_data, config.batch_size, config.lr, config.epochs)

        # 求某一折的平均损失
        train_loss_ave = sum(train_loss)/len(train_loss)
        valid_loss_ave = sum(valid_loss)/len(valid_loss)
        print('-*-*-*- 第 %d 折， 平均训练损失%.3f，平均检验损失%.3f -*-*-*-'%(i+1, train_loss_ave,valid_loss_ave))
        valid_loss_sum = valid_loss_sum + valid_loss_ave

    valid_loss_k_ave = valid_loss_sum / config.k  # 基于K折交叉验证的验证损失
    print('*' * 60, )
    print('基于K折交叉验证的验证损失为%.4f'%valid_loss_k_ave)




if __name__ == "__main__":
    # 创建数据集,或者说数据集只要是这样的形式即可
    X = torch.rand(5000, 16, 38)  # 5000条数据，，每条有16个时间步，每步38个特征，时序数据

    # 随机打乱
    index = [i for i in range(len(X))]
    random.shuffle(index)
    X = X[index]  # 要是有标签的话，index要对得上

    config = ModelConfig()
    config.load('./Model/config.json')

    k_test(config, X)