1. 介绍

PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：http://pytorch.org/docs/master/torchvision/index.html。具体代码可以参考github：https://github.com/pytorch/vision/tree/master/torchvision。

这篇博客介绍torchvision.transformas。torchvision.transforms这个包中包含resize、crop等常见的data augmentation操作，基本上PyTorch中的data augmentation操作都可以通过该接口实现。该包主要包含两个脚本：transformas.py和functional.py，前者定义了各种data augmentation的类，在每个类中通过调用functional.py中对应的函数完成data augmentation操作。

2. 使用例子

import torchvision
import torch

data_transforms = {
    
    
    'train': transforms.Compose([
	    transforms.ToPILImage(),
	    transforms.Resize(256),
	    # transforms.RandomResizedCrop(224,scale=(0.5,1.0)),
	    transforms.RandomHorizontalFlip(),
	    transforms.ToTensor(),
	    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    ]),
    'val': transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ]),

image_datasets = {
    
    x: datasets.ImageFolder(os.path.join(data_dir, x), transform=data_transforms[x], loader=None),for x in ['train', 'val']}

上面一段代码就是图像预处理的操作。以前在tensorflow的框架内处理起来很麻烦的数据，在这里就几句代码可以搞定了，很爽。大致讲解一下代码。

transforms.Compose函数就是将transforms组合在一起；而每一个transforms都有自己的功能。最终只要使用定义好的train_transformer 就可以按照循序处理transforms的要求的。上面的代码中：

**transforms.ToPILImage()**是转换数据格式，把数据转换为tensfroms格式。只有转换为tensfroms格式才能进行后面的处理。

**transforms.Resize(256)**是按照比例把图像最小的一个边长放缩到256，另一边按照相同比例放缩。

**transforms.RandomResizedCrop(224,scale=(0.5,1.0))**是把图像按照中心随机切割成224正方形大小的图片。

transforms.ToTensor() 转换为tensor格式，这个格式可以直接输入进神经网络了。

**transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])**对像素值进行归一化处理。

3. transforms处理方法

3.1 裁剪-Crop

随机裁剪：transforms.RandomCrop
class
torchvision.transforms.RandomCrop(size, padding=None, pad_if_needed=False, fill=0, padding_mode=‘constant’)
功能：依据给定的size随机裁剪
参数：
size- (sequence or int)，若为sequence,则为(h,w)，若为int，则(size,size)
padding-(sequence or int, optional)，此参数是设置填充多少个pixel。
当为int时，图像上下左右均填充int个，例如padding=4，则上下左右均填充4个pixel，若为3232，则会变成4040。
当为sequence时，若有2个数，则第一个数表示左右扩充多少，第二个数表示上下的。当有4个数时，则为左，上，右，下。
fill- (int or tuple) 填充的值是什么（仅当填充模式为constant时有用）。int时，各通道均填充该值，当长度为3的tuple时，表示RGB通道需要填充的值。
padding_mode- 填充模式，这里提供了4种填充模式，1.constant，常量。2.edge 按照图片边缘的像素值来填充。3.reflect，暂不了解。 4. symmetric，暂不了解。
中心裁剪：transforms.CenterCrop class torchvision.transforms.CenterCrop(size) 功能：依据给定的size从中心裁剪参数： size-
(sequence or int)，若为sequence,则为(h,w)，若为int，则(size,size)
随机长宽比裁剪 transforms.RandomResizedCrop class torchvision.transforms.RandomResizedCrop(size, scale=(0.08, 1.0),
ratio=(0.75, 1.3333333333333333), interpolation=2)
功能：随机大小，随机长宽比裁剪原始图片，最后将图片resize到设定好的size 参数： size- 输出的分辨率 scale-
随机crop的大小区间，如scale=(0.08, 1.0)，表示随机crop出来的图片会在的0.08倍至1倍之间。 ratio-
随机长宽比设置 interpolation- 插值的方法，默认为双线性插值(PIL.Image.BILINEAR)
上下左右中心裁剪：transforms.FiveCrop class torchvision.transforms.FiveCrop(size)
功能：对图片进行上下左右以及中心裁剪，获得5张图片，返回一个4D-tensor 参数： size- (sequence or
int)，若为sequence,则为(h,w)，若为int，则(size,size)
上下左右中心裁剪后翻转: transforms.TenCrop class torchvision.transforms.TenCrop(size, vertical_flip=False)
功能：对图片进行上下左右以及中心裁剪，然后全部翻转（水平或者垂直），获得10张图片，返回一个4D-tensor。参数： size-
(sequence or int)，若为sequence,则为(h,w)，若为int，则(size,size) vertical_flip
(bool) - 是否垂直翻转，默认为flase，即默认为水平翻转

3.2 翻转和旋转——Flip and Rotation

依概率p水平翻转transforms.RandomHorizontalFlip class torchvision.transforms.RandomHorizontalFlip(p=0.5)
功能：依据概率p对PIL图片进行水平翻转参数： p- 概率，默认值为0.5
依概率p垂直翻转transforms.RandomVerticalFlip class torchvision.transforms.RandomVerticalFlip(p=0.5) 功能：依据概率p对PIL图片进行垂直翻转
参数： p- 概率，默认值为0.5
随机旋转：transforms.RandomRotation class torchvision.transforms.RandomRotation(degrees, resample=False,
expand=False, center=None) 功能：依degrees随机旋转一定角度参数： degress- (sequence
or float or int) ，若为单个数，如 30，则表示在（-30，+30）之间随机旋转
若为sequence，如(30，60)，则表示在30-60度之间随机旋转 resample- 重采样方法选择，可选
PIL.Image.NEAREST, PIL.Image.BILINEAR, PIL.Image.BICUBIC，默认为最近邻
expand- ? center- 可选为中心旋转还是左上角旋转

3.3 图像变换

resize：transforms.Resize class torchvision.transforms.Resize(size, interpolation=2) 功能：重置图像分辨率参数： size- If size is an int, if height >
width, then image will be rescaled to (size * height / width,
size)，所以建议size设定为h*w interpolation- 插值方法选择，默认为PIL.Image.BILINEAR
标准化：transforms.Normalize class torchvision.transforms.Normalize(mean, std)
功能：对数据按通道进行标准化，即先减均值，再除以标准差，注意是 hwc
转为tensor：transforms.ToTensor class torchvision.transforms.ToTensor 功能：将PIL Image或者 ndarray 转换为tensor，并且归一化至[0-1]
注意事项：归一化至[0-1]是直接除以255，若自己的ndarray数据尺度有变化，则需要自行修改。
填充：transforms.Pad class torchvision.transforms.Pad(padding, fill=0, padding_mode=‘constant’) 功能：对图像进行填充参数： padding-(sequence or
int, optional)，此参数是设置填充多少个pixel。
当为int时，图像上下左右均填充int个，例如padding=4，则上下左右均填充4个pixel，若为3232，则会变成4040。
当为sequence时，若有2个数，则第一个数表示左右扩充多少，第二个数表示上下的。当有4个数时，则为左，上，右，下。 fill-
(int or tuple)
填充的值是什么（仅当填充模式为constant时有用）。int时，各通道均填充该值，当长度为3的tuple时，表示RGB通道需要填充的值。
padding_mode- 填充模式，这里提供了4种填充模式，1.constant，常量。2.edge
按照图片边缘的像素值来填充。3.reflect，？ 4. symmetric，？
修改亮度、对比度和饱和度：transforms.ColorJitter class torchvision.transforms.ColorJitter(brightness=0, contrast=0,
saturation=0, hue=0) 功能：修改修改亮度、对比度和饱和度
转灰度图：transforms.Grayscale class torchvision.transforms.Grayscale(num_output_channels=1) 功能：将图片转换为灰度图
参数： num_output_channels- (int) ，当为1时，正常的灰度图，当为3时， 3 channel with r ==
g == b
线性变换：transforms.LinearTransformation() class torchvision.transforms.LinearTransformation(transformation_matrix)
功能：对矩阵做线性变化，可用于白化处理！ whitening: zero-center the data, compute the
data covariance matrix 参数： transformation_matrix (Tensor) – tensor [D
x D], D = C x H x W
仿射变换：transforms.RandomAffine class torchvision.transforms.RandomAffine(degrees, translate=None,
scale=None, shear=None, resample=False, fillcolor=0) 功能：仿射变换
依概率p转为灰度图：transforms.RandomGrayscale class torchvision.transforms.RandomGrayscale(p=0.1)
功能：依概率p将图片转换为灰度图，若通道数为3，则3 channel with r == g == b
将数据转换为PILImage：transforms.ToPILImage class torchvision.transforms.ToPILImage(mode=None) 功能：将tensor 或者
ndarray的数据转换为 PIL Image 类型数据参数： mode- 为None时，为1通道，
motde=3通道默认转换为RGB，4通道默认转换为RGBA
transforms.Lambda
Apply a user-defined lambda as a transform. 暂不了解，待补充。

3.4 对transforms操作，使数据增强更灵活

PyTorch不仅可设置对图片的操作，还可以对这些操作进行随机选择、组合

transforms.RandomChoice(transforms) 功能：从给定的一系列transforms中选一个进行操作，randomly picked from a list
transforms.RandomApply(transforms, p=0.5) 功能：给一个transform加上概率，以一定的概率执行该操作
**transforms.RandomOrder 功能：**将transforms中的操作顺序随机打乱

torchvision.transforms使用详解