PyTorch入门教学——加载数据（Dataloader）

1、简介

• PyTorch中如何读取数据主要涉及到两个类，分别为Dataset和Dataloader。
  • Dataset：创建可被Pytorch使用的数据集
  • Dataloader：向模型传递数据
• 本文主要讲解Dataloader的使用方法。

2、Dataloader

2.1、查看使用方法

• 查看官网文档：torch.utils.data — PyTorch 2.1 documentation
• 
• 可以看到Dataloader是一个类，其中包含很多参数，但是大多数的参数都有默认值，所以只需要修改少量需要的参数即可。
• 参数：
  • dataset：需要加载的数据集。
  • batch_size：每次取到数据集的大小。
  • shuffle：每次迭代数据集是否打乱。
  • drop_last：将最后不足batch_size的部分舍去。

2.2、应用

• 使用Dataloader前，需要将图片转化为totensor格式。下面直接使用torchvision.datasets的数据集。
• 新建一个python文件。

  • import torchvision
    from torch.utils.data import DataLoader
    from torch.utils.tensorboard import SummaryWriter
    
    # 准备测试数据集
    test_data = torchvision.datasets.CIFAR10(
        root="./Dataset/CIFAR10",
        transform=torchvision.transforms.ToTensor(),  # 将图片转换为totensor数据类型
        train=False,
        download=True)
    # root：数据集下载后存放的目录。
    # train：如果为True，则从训练集创建数据集，否则从测试集创建。
    # transform：接收PIL图像的转换方式，并返回转换后的版本。
    # download：如果为True，则从互联网下载数据集，然后将其放在设置的目录中。如果数据集已下载，则不会再次下载。
    
    test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=True, drop_last=False)
    # batch_size：每次取到数据集的大小。
    # shuffle：每次迭代数据集是否打乱。
    # drop_last：将最后不足batch_size的部分舍去。
    
    write = SummaryWriter("logs")  # 使用TensorBoard显示图片
    for epoch in range(2):
        step = 0
        for data in test_loader:
            imgs, targets = data
            write.add_images("Epoch:{}".format(epoch), imgs, step)
            step = 1 + step
    
    write.close()

• 运行结果：
  •   
  • batch_size=64，所以每次取得数据集为64张图片。
  • shuffle=True，所以两次迭代得到的图片顺序是不同的。
  • drop_last=False，所以最后剩下的数据集不会被舍去。
    • （最后只有16张图片，不足64）
• 上述案例中，使用DataLoader转换的test_loader得到的imgs可以直接供神经网络使用，即实现向模型传递数据。