SRCNN学习（一）：demo_SR.m
一、demo_SR.m 使用方法
1、Place the "SRCNN" folder into "($Caffe_Dir)/examples
2、Open MATLAB and direct to ($Caffe_Dir)/example/SRCNN, run "demo_SR.m"
二、demo_SR.m 运行结果
根据 demo.m 的代码，显示结果为双三次插值后的图片和 SRCNN 重建后的图片，同时输出双三次插值的峰值信噪比以及 SRCNN 重建的峰值信噪比。
原图：
双三次插值 vs SRCNN重建：
三、demo_SR.m 代码分析
- 根据邹老师的提示：进行单步跟踪，看代码同时要边调试边看效果
我选择 Matlab 中的运行节对代码进行查看
读取真实图像
close all;
clear all 清空工作区
%% read ground truth image
im = imread('Set5\butterfly_GT.bmp');
此时读入名为 butterbly_GT 的图片，工作区显示图片的值
设定参数
%% set parameters
up_scale = 3;
model = 'model\9-5-5(ImageNet)\x3.mat';
这段代码实现参数设置的功能。
其中up_scale为这段代码设定的放大倍率，当 up_scale = 3 时，选择模型为 x3.mat
仅在照度方面
%% work on illuminance only
if size(im,3)>1
im = rgb2ycbcr(im);
im = im(:, :, 1);
end
im_gnd = modcrop(im, up_scale);
im_gnd = single(im_gnd)/255;
size(im,3) 返回第三维度的长度，由前面可知 im 的值为 256x256x3 uint8，所以返回值应大于1会进入循环。
rgb2ycbcr(im) 将彩色RGB图像转换为 YCbCr 颜色空间中的等效图像, im(:,:,1) 将 im 的第三维度长修改为1。
modcrop(im,up_scale) 该函数在 modcrop.m 文件中有对应的定义：
function imgs = modcrop(imgs, modulo) modcrop函数
if size(imgs,3)==1
sz = size(imgs);
sz = sz - mod(sz, modulo);
imgs = imgs(1:sz(1), 1:sz(2));
else
tmpsz = size(imgs);
sz = tmpsz(1:2);
sz = sz - mod(sz, modulo);
imgs = imgs(1:sz(1), 1:sz(2),:);
end该函数将图片裁剪为能够调整的大小（与放大率匹配）
双三次插值
%% bicubic interpolation
im_l = imresize(im_gnd, 1/up_scale, 'bicubic'); %缩小三倍
im_b = imresize(im_l, up_scale, 'bicubic'); %放大三倍
imresize() 函数用于调整图像大小，在这里的用法传入三个参数，第一为图片，第二为函数将 图像的长宽大小缩放的倍数，第三为缩放的方法，这里使用的 bicubic 即双三次插值的方法。使用双三次插值的方法产生的图片输出像素值是最近 4×4 邻点中的像素的加权平均值。
至此，梳理各个参数所代表的值
- im_l ：im_gnd 进行双三次插值缩小后的图像
im_b : im_gnd 进行双三次插值缩小后，再进行同比例放大的图像
SRCNN
%% SRCNN
im_h = SRCNN(model, im_b);
此过程根据 SRCNN 对 im_b 进行训练，产生 im_h 图像
删除边框
%% remove border
im_h = shave(uint8(im_h * 255), [up_scale, up_scale]);
im_gnd = shave(uint8(im_gnd * 255), [up_scale, up_scale]);
im_b = shave(uint8(im_b * 255), [up_scale, up_scale]);
shave() 函数在文件 shave.m 中有定义：
function I = shave(I, border)
I = I(1+border(1):end-border(1),...
1+border(2):end-border(2), :, :,);计算 PSNR
%% compute PSNR
psnr_bic = compute_psnr(im_gnd,im_b);
psnr_srcnn = compute_psnr(im_gnd,im_h);
compute_psnr() 函数在文件 compute_psnr.m 中有定义
function psnr=compute_psnr(im1,im2)
if size(im1, 3) == 3,
im1 = rgb2ycbcr(im1);
im1 = im1(:, :, 1);
end
if size(im2, 3) == 3,
im2 = rgb2ycbcr(im2);
im2 = im2(:, :, 1);
end
imdff = double(im1) - double(im2);
imdff = imdff(:);
rmse = sqrt(mean(imdff.^2));
psnr = 20*log10(255/rmse);在论文中提到 PSNR 是一种用于定量评估图像恢复质量的广泛使用的度量，并且与感知质量部分相关，2个图像之间 PSNR 值越大，则越相似。普遍基准为 30dB ，30dB 以下的图像劣化较为明显。PSNR 定义为：
PSNR = 10log10(MAX^2/MSE)这里 MAX 表示图像颜色的最大数值，8bit 图像取值为255。MSE（均方差），即 m×n 单色图像 I 和 K（原图像与处理图像）之间均方误差。
compute_psnr() 就是对生成的图像与原图对比，形成信噪比的直观查看方式。
显示结果
%% show results
fprintf('双三次插值的峰值信噪比: %f dB\n', psnr_bic);
fprintf('SRCNN 重建的峰值信噪比: %f dB\n', psnr_srcnn);
figure, imshow(im_b); title('双三次插值');
figure, imshow(im_h); title('SRCNN 重建');
imwrite(im_b, ['双三次插值' '.bmp']);
imwrite(im_h, ['SRCNN 重建' '.bmp']);输出两张图片，以及两次比较的信噪比。
四、实践
由于通过论文给的函数只会输出灰度的图像，我在网上查看他人的代码时发现输出具有颜色的图像的方式。
下面时我根据他的代码进行修改后输出的结果
close all;
clear all;
%% read ground truth image 读取真实图像
im = imread('Set5\butterfly_GT.bmp');
%% set parameters 设定参数
up_scale = 3;
model = 'model\9-5-5(ImageNet)\x3.mat';
%% work on illuminance only 仅在照度方面
if size(im,3)>1
im = rgb2ycbcr(im);
im_U = im(:, :, 1);
end
im_gnd = modcrop(im_U, up_scale);
im_gnd = single(im_gnd)/255;
im_gnd2 = modcrop(im, up_scale);
im_gnd2 = single(im_gnd2)/255;
im_2 = im_gnd2(:, :, 2);
im_3 = im_gnd2(:, :, 3);
%% bicubic interpolation 双三次插值
im_l = imresize(im_gnd, 1/up_scale, 'bicubic');
im_b = imresize(im_l, up_scale, 'bicubic');
%% SRCNN
im_h = SRCNN(model, im_b);
%% 三通道合回
[m,n] = size(im_h);
im_h1 = zeros(m,n,3);
im_h1(:, :, 1) = im_h;
im_h1(:, :, 2) = im_2;
im_h1(:, :, 3) = im_3;
im_h1 = uint8(im_h1 * 255);%转回uint8
im_h1 = ycbcr2rgb(im_h1);%转回rgb
%% remove border 删除边框
im_h1 = shave(im_h1, [up_scale, up_scale]);
%% show results 显示结果
figure, imshow(im_h1);
title('SRCNN 重建');
五、结语
这周的学习主要是对 SRCNN 的整个流程进行了重新认识，明白了各个步骤的主要任务，了解到论文中 SRCNN 其实是对图片的 Y 通道提取后，进行重建，最后通过输出 PSNR 和图片的方式，来对重建的程度进行分析。
下周将对 SRCNN.m 文件进行学习，并在学习卷积、步长等概念后对 SRCNN 的三个卷积过程有更深刻的理解。