深度学习torch之五（数据的预处理）

因为自己也是一个初级小白学者，有很多的知识也是迷惑的，写博客一方面是为了和大家一起学习，另一方面的原因是想通过这种方式记录自己的学习历程，留下一些可以查看的轨迹。本内容主要是参考博客园中昵称为一只有恒心的小菜鸟的博客，我只是学习他所写内容的基础上做一下适合自己查看的笔记，希望对其他的童鞋能有所帮助。言归正传，本内容使用的数据集为SVHN,该数据集的介绍可以参考链接SVHN介绍：

1.先将用到的包require下：

require 'torch' -- torch 
require 'image' -- to visualize the dataset 
require 'nn' -- provides a normalization operator

2.加载头文件，其本质就是在写程序之前想要完成的几种可选项：

if not opt then 
print '==> processing options' 
cmd = torch.CmdLine() 
cmd:text() 
cmd:text('SVHN Dataset Preprocessing') 
cmd:text() 
cmd:text('Options:') 
cmd:option('-size', 'small', 'how many samples do we load: small | full | extra') 
cmd:option('-visualize', true, 'visualize input data and weights during training') 
cmd:text() 
opt = cmd:parse(arg or {}) 
end

3.加载数据集：

train_file =torch.load( 'train_32x32.t7') 
test_file = torch.load('test_32x32.t7')
extra_file =torch.load( 'extra_32x32.t7')

官网上下载是数据可能没有.T7格式，下载下来的数据是mat格式的，要转换成torch使用的t7格式，使用matio可以时间，首先需要安装matio，很简单，两条命令：

sudo apt-get install libmatio2

luarocks install matio

此时下载的数据是columns x rows x channels x num，但image.display()要求的数据组织形式是：num x channels x columns x rows，所以需要重新组织，下面是数据转换的代码：

matio = require'matio' 
loaded = matio.load('train_32x32.mat') 
trainData = { 
data = loaded.X:permute(4,3,1,2) , 
labels = loaded.y[{{},{1}}],  
size= function() return trsize end 
}

唯一需要注意的是需要使用transpose()函数，这是因为在matlab中数据的表达一般是先列后行，而在torch中数据的表达一般是
先行后列，所以这里对后两维进行了转置，代码如下：

loaded = torch.load(extra_file,'ascii') 

trainData = { 

   data = loaded.X:transpose(3,4), 

   labels = loaded.y[1], 

   size = function() return trsize end 

}

4.设置训练集和测试集的大小

if opt.size == 'extra' then 

   print '==> using extra training data' 

   trsize = 73257 + 531131 

   tesize = 26032 

elseif opt.size == 'full' then 

   print '==> using regular, full training data' 

   trsize = 73257 

   tesize = 26032 

elseif opt.size == 'small' then 

   print '==> using reduced training data, for fast experiments' 

   trsize = 10000 

   tesize = 2000 

end

5.当数据选择ectra时，对训练数据集进行拼接

if opt.size == 'extra' then 

   loaded = torch.load(extra_file,'ascii') 

   trdata = torch.Tensor(trsize,3,32,32) 

   trdata[{ {1,(#trainData.data)[1]} }] = trainData.data 

   trdata[{ {(#trainData.data)[1]+1,-1} }] = loaded.X:transpose(3,4) 

   trlabels = torch.Tensor(trsize) 

   trlabels[{ {1,(#trainData.labels)[1]} }] = trainData.labels 

   trlabels[{ {(#trainData.labels)[1]+1,-1} }] = loaded.y[1] 

   trainData = { 

      data = trdata, 

      labels = trlabels, 

      size = function() return trsize end 

   } 

end

6.加载厕所数据集

loaded = matio.load('test_32x32.mat') 

tempData = loaded.X:permute(4,3,1,2) 

testData = {data = tempData, labels =loaded.y, size = function() return tesize end} 

tempData = nil

7.7. 下面进行数据的预处理，数据的预处理包含三个trick
+ 图像从RGB空间映射到YUV空间
+ Y通道使用 contrastive normalization operator进行局部规范化
+ 对所有的数据在每个通道进行规范化到0，1之间

-- RGB==>YUV 

for i=1,trainData:size() do  

    trainData.data[i] = image.rgb2yuv(trainData.data[i]) -- 等价于 trainData.data[{{i},{},{},{}}] 

end 

for i=1,testData:size() do 

    testData.data[i] = image.rgb2yuv(testData.data[i]) 

end 

 

-- Name Channels for convenience 

channels = {'y','u','v'} 

 

 

-- 单通道进行规范化 

Mean={} 

Std={} 

for i=1, channel in ipairs(channels) do --此处和for i=1,3 do等价 

    Mean[i]= trainData.data[{{},{i},{},{}}]:mean() 

    Std[i] = trainData.data[{{},{i},{},{}}]:std() 

    trainData.data[{{},{i},{},{}}]=trainData.data[{{},{i},{},{}}]:csub(Mean[i]) 

    trainData.data[{{},{i},{},{}}]=trainData.data[{{},{i},{},{}}]:div(Std[i]) 

end 

 

for i=1,3 do 

    testData.data[{{},{i},{},{}}]:add(-Mean[i]) -- add 和csub 

    -- 这个用法见Tensor的手册，改变后替代原来数据，所以和上面是一样的 

    testData.data[{{},{i},{},{}}]:div(Std[i]) 

end

Y通道局部的规范化需要使用nn包里的算子

-- Define the normalization neighborhood: 

neighborhood = image.gaussian1D(7) 

 

-- Define our local normalization operator (It is an actual nn module,  

-- which could be inserted into a trainable model): 

normalization = nn.SpatialContrastiveNormalization(1, neighborhood):float() 

 

-- Normalize all Y channels locally: 

for i = 1,trainData:size() do 

   trainData.data[{ i,{1},{},{} }] = normalization:forward(trainData.data[{ i,{1},{},{} }])  --前向计算 

end 

for i = 1,testData:size() do 

   testData.data[{ i,{1},{},{} }] = normalization:forward(testData.data[{ i,{1},{},{} }]) 

end

for i,channel in ipairs(channels) do 

   trainMean = trainData.data[{ {},i }]:mean() 

   trainStd = trainData.data[{ {},i }]:std() 

 

   testMean = testData.data[{ {},i }]:mean() 

   testStd = testData.data[{ {},i }]:std() 

 

   print('training data, '..channel..'-channel, mean: ' .. trainMean) 

   print('training data, '..channel..'-channel, standard deviation: ' .. trainStd) 

 

   print('test data, '..channel..'-channel, mean: ' .. testMean) 

   print('test data, '..channel..'-channel, standard deviation: ' .. testStd) 

end

8.最后是数据的可视化,显示了前256个数据Y，U，V通道上的效果

if opt.visualize then 

   first256Samples_y = trainData.data[{ {1,256},1 }] 

   first256Samples_u = trainData.data[{ {1,256},2 }] 

   first256Samples_v = trainData.data[{ {1,256},3 }] 

   image.display{image=first256Samples_y, nrow=16, legend='Some training examples: Y channel'} 

   image.display{image=first256Samples_u, nrow=16, legend='Some training examples: U channel'} 

   image.display{image=first256Samples_v, nrow=16, legend='Some training examples: V channel'} 

end

总结：整体代码流程是这个样子，我还没有亲身去实验过，所以我认为单纯的复制粘贴代码内容运行程序肯定会出现问题等我实际实验完成之后，我会

把整体的代码附加的博客中。

深度学习torch之五（数据的预处理）

猜你喜欢