torchvision

transforams是对单张图片进行处理，而制作数据集的时候，是需要对图像进行批量处理的。因此本节是将torchvision中的datasets和transforms联合使用对数据集进行预处理操作。

（torchvision官方文档地址：torchvision — Torchvision 0.15 documentation）
torchvision.datasets中提供了内置数据集和自定义数据集所需的函数（DatasetFolder、ImageFolder、VisionDataset）（torchvision.datasets官方文档地址：Datasets — Torchvision 0.15 documentation）
torchvision.models中包含了已经训练好的图像分类、图像分割、目标检测的神经网络模型。（torchvision.models的官方文档地址：Models and pre-trained weights — Torchvision 0.15 documentation）
torchvision.transforms对图像进行转换和增强（torchvision.transforms的官方文档地址：Transforming and augmenting images — Torchvision 0.15 documentation）

torchvision.utils包含各种实用工具,主要用于可视化（tensorboard是在torch.utils.tensorboard中）（torchvision.utils的官方文档地址：Utils — Torchvision 0.15 documentation）

import torchvision
from torch.utils.tensorboard import SummaryWriter
from torchvision.transforms import transforms

# 1. 用transforms设置图片转换方式
data_transform = transforms.Compose([  # 用Compose将所有转换操作集合起来
    transforms.ToTensor()  # 因为CIFAR10数据集的每张图像size=(32,32)比较小，所以只进行ToTensor的操作
])

# 2. 加载内置数据集CIFAR10，并设置transforms（download最好一直设置成True）
#   1. root:（若要下载的话）表示数据集存放的根目录
#   2. train=True 或者 False，分别表示是构造训练集train_set还是测试集test_set
#   3. transform = data_transform，用自定义的data_transform对数据集中的每张图像进行预处理
#   4. download=True 或者 False，分别表示是否从网上下载数据集到root中（如果root下已有数据集，尽管设置成True也不会再下载了，所以download最好一直设置成True）
train_set = torchvision.datasets.CIFAR10('./dataset', train=True, transform=data_transform, download=True)
test_set = torchvision.datasets.CIFAR10('./dataset', train=False, transform=data_transform, download=True)

# 3. 写进tensorboard查看
writer = SummaryWriter('CIFAR10')
for i in range(10):
    img, label = test_set[i]    # test_set[i]返回的依次是图像(PIL.Image)和类别(int)
    writer.add_image('test_set', img, i)

writer.close()

DataLoader

官方文档地址：torch.utils.data.DataLoader

CLASS torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, 
	sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, 
	pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, 
	multiprocessing_context=None, generator=None, *, prefetch_factor=2, 
	persistent_workers=False)

除了dataset（指明数据集的位置）之外的参数都设置了默认值。

torch.utils.data.DataLoader重点关注的参数有：

dataset (Dataset)：指明从哪个数据集加载数据（如上节中自定义的train_set）
batch_size (int)：每个批次（batch）加载多少样本。
shuffle (bool)：每轮（epoch）是否打乱样本的顺序。（最好设置成True）
num_workers (int)：有多少个子流程用于数据加载。0表示主进程加载。
（在Windows下只能设置成0，不然会出错！虽然default=0，但是最好还是手动再设置一下num_workers=0）
drop_last (bool)：如果数据集大小不能被batch_size整除，则最后一个批次将会不完整（即样本数<batch_size）。设置为True则删掉最后一个batch，False则保留（默认为False，即会保存最后那个不完整的批次）。

扫描二维码关注公众号，回复： 15866866 查看本文章

Pytorch个人学习记录总结 04

torchvision

DataLoader

猜你喜欢