(6) PyTorch 深層学習: データセットのロード

PyTorch ロード データセット

1.データセット：データセット（データインデックスをサポート）;

2. DataLoader: データセットをロードします。

3. バッチ: すべてのデータをロードします; (利点: ベクトル計算の最適化を最大限に活用して計算速度を向上させることができます; 欠点)

4. 確率的勾配降下: サンプル データ; (利点: 適切なランダム性を取得し、鞍点問題を克服します。欠点: トレーニング済みのモデルは他のモデルよりも優れていますが、一度に 1 つのサンプルしかないため、CPU/GPU の並列処理はできません。機能を使用すると、最適化時間が長すぎます)

5. コード:

import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader    # Dataset：抽象类，不能实例化

#####################1 准备、加载数据集#################################
# DiabetesDataset 继承 Dataset 中副类的基本功能
class DiabetesDataset(Dataset):
    def __init__(self, filepath):         # 初始化，根据路径（filepath）或者加载简单的数据和标签
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[ : , : -1])    # 除租后一列的所有行
        self.y_data = torch.from_numpy(xy[ : , [-1]])    # 最后一列的所有行

    # 为了在DiabetesDataset 实例化之后 索引dataset[index] 提取数据
    def __getitem__(self, index):
        return self.x_data[index], self.y_data[index]

    # 将数据的数量
    def __len__(self):
        return self.len

# data_path = "F:\\Python_Deep_Learning\\data\\diabetes.csv.gz"

dataset = DiabetesDataset('diabetes.csv.gz')
train_loader = DataLoader(dataset=dataset,
                          batch_size=32,
                          shuffle=True,
                          num_workers=2)

#########################2 使用类设计模型###############################
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8,6)
        self.linear2= torch.nn.Linear(6,4)
        self.linear3 = torch.nn.Linear(4,1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()
###################3 构建损失函数、优化器###############################
criterion = torch.nn.BCELoss(size_average=False)          # BCE损失
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)   # 参数优化

#####################4 循环训练 #########################
if __name__ == "__main__":
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0):
            # 准备数据
            inputs, labels = data
            # 前向传播
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)
            print(epoch, i, loss.item())
            # 反向传播
            optimizer.zero_grad()
            loss.backward()
            # 更新权重
            optimizer.step()