【IQA】Deep Neural Networks for No-Reference and Full-Reference Image Quality Asses

出处:2018年1月的IEEE TIP上的文章

数据库:LIVE,CISQ,TID2013和Wild Image Quality Challenge数据库

源码https://github.com/dmaniry/deepIQA

贡献

1、针对IQM问题的公开数据集比较小,作者在图像上进行random sample patch方法,每个patch的质量分为整张图片的质量数;

2、对局部区域采用加权方法(Weighted Average Deep Image QuAlity Measure);

3、不做归一化,从而使得luminance和contrast这类的全局特征也可以作为评价的特征;

4、采用了Siamese network的结构(VGG)

模型

FR模型:

扫描二维码关注公众号,回复: 5524695 查看本文章

NR模型:

区别:FR模型去掉孪生网络的一个分支就是NR模型

FR前向传播:首先,两个输入(distorted和reference)通过一个孪生CNN网络(也就是权值共享的结构相同的网络),然后得到feature vector,这个提取特征的网络是一个vgg-like的,分别得到的两个feature vector,两者进行fusion,再显式的加上两者的差,进行concat,得到融合的vector,即,用于回归。如果是对图像的patch 的Q进行平均的话,那么就只需要回归patch上的quality,而如果要加权平均,同时还要回归一个权重。然后做一个spatial pooling,得到最终的image quality。

(1)特征提取:

所有卷积层都应用3×3的卷积核,并通过ReLU激活函数。为了获得与输入相同大小的输出,应用零填充来应用卷积。为了防止过拟合,对于fully-connected layer应用比率为0.5的 Dropout Regularization。论文输入是32×32的patch;

(2)特征融合:

输入distorted和reference的patch,通过Siamese networks两个分支分别直接处理,可以得到参考图像的特征向量 fr 和失真图像的特征向量fd,然后进行特征融合,由于和的spatial 空间是一致的,这使得的差值能够有效地表示特征空间上的距离。为了简化回归任务,显式的加上,即

(3)加权:

简单平均加权:如果是对图像的patch 的质量进行平均的话,那么需要对每个patch的质量回归,最后得到整幅图像的视觉质量,计算方式如下(N_p是图像块的数量,y_i是每个patch的质量)。

 实验总结

1、加权平均的方法受到失真类型和失真空间分布的影响,在某些测试中效果达到没有最好(表一);

2、对于失真图像,参考图像的信息对池化局部权重非常重要(表四);

3、数据集大小对模型性能影响很大(表五);

4、池化局部权重方法的NR具有更强的泛化能力(表六);

5、patch的数量32最佳;

6、特征融合使用效果更好,直接融合fr与fd效果最差(表8); 

猜你喜欢

转载自blog.csdn.net/qq_30159015/article/details/84553207
今日推荐