Paper | Blind Quality Assessment Based on Pseudo-Reference Image

这一篇应该是继《BLIND QUALITY ASSESSMENT OF COMPRESSED IMAGES VIA PSEUDO STRUCTURAL SIMILARITY》(2016 ICME)之后的拓展工作。后者是将压缩图像再压缩,比较二者伪结构(压缩块角)的相似度;而本文就是将方法一般化,产生了伪参考图像的概念。

建议先看那篇短文,再看本文。本文只记录扩展部分的精华。

【实际上,这种思想并不是作者的首创。在去模糊等领域,这种思想被广泛使用[5,6]】

本文称伪参考图像为pseudo-reference image(PRI),基于PRI的盲IQA方法为PRI-based BIQA。

本文考虑三种失真:块效应,模糊和噪声。

1. 技术细节

要注意的是,每一种失真很不一样,因此我们需要设计distortion-specific PRI以及对应的测距方法。

对于块效应,我们先对压缩图像进一步强压缩,然后寻找各自的伪结构,最后计算二者伪结构的相似度(PSS),即最终得分。

对于模糊和噪声,它们都会改变图像的局部结构:平坦区域可能因为噪声变得有纹理,而纹理区域可能因为模糊变得平滑。因此我们测量的是局部结构相似度(local structure similarity, LSS)。具体是借助local binary pattern(LBP)[8]来刻画局部结构。

1.1 失真识别

借助DIIVINE[7]的识别方法。只有此步需要训练。

1.2 得到对应的PRI并评估质量

块效应

我们先说块效应。流程与ICME大致相同,不同点:

  1. 计算PSS时分母上加1,以保证数值稳定性。

  2. 检测角使用MATLAB的最小特征值法[43]。质量阈值很小,设为0.001。

  3. 在处理图像前,先用\(3 \times 3\)标准差为0.5的高斯滤波器滤波。

模糊和噪声

我们再说模糊和噪声指标——LSS。

模糊图像和有噪图像的PRI分别是:

2_2

得到PRI以后,我们要用LBP来表征PRI和原图各自的局部结构。LBP记录的是某个像素和其圆形邻域内像素的亮度值的差值,并且以二值化形式编码记录:

2_3

得到LBP之后,我们再处理一步:

2_4

上面是对模糊LBP的处理,下面是对有噪LBP的处理。

最后,我们遵循与块效应相同的步骤,计算相似度即可。

效果:

2_5

质量越差(DMOS小),重合越多(白色区域占比大),得分越高(LSS得分高)。

1.3 扩展为通用的质量评价指标——BPRI

有上面那些是不够的。如果一张图像里存在多种失真耦合,那么以上流程和指标都没法用。为此,我们将方法拓展。

2_1

归一化3种质量评分

首先,我们要让PSS和两个LSS处于相近的区间,即归一化。方法就是用100张图像(4种失真类型和5种失真尺度,共2000张),拟合各自的模型:
\[ q' = \lambda_1 (\frac{1}{2} - \frac{1}{1 + \exp \lambda_2 (q - \lambda_3)}) + \lambda_4 q + \lambda_5 \]

这样,3个得分都会在0和1之间波动。拟合对象为FR方法GMSD[49]。

判断失真类型

这里作者使用了SVM作为分类器。输入即3个归一化前的质量评分组成的1个3维向量,输出也是3维向量,表征3种失真的概率。

加权求和

概率和归一化后的得分加权求和,即最终得分。

实验略。

2. 总结

优点:

We solve the problem of IQA by measuring "how much worse the image could be?" rather than the traditional "how bad the image is?".

缺点:

  1. 存在大量手工设计的参数。调起来甚是麻烦。

  2. 很难处理耦合失真。

  3. 失真类型有限。每加入一种失真类型,就需要训练一个SVM,拟合一个归一化模型,定义一个PRI。

猜你喜欢

转载自www.cnblogs.com/RyanXing/p/BPRI.html