图像质量评价（二）：VSI
Visual Saliency-Induced Index（VSI）主要利用图像显著性特征图的失真来计算图像质量。VSI是一个全参考（FR）的评价标准，所以可以使用无失真的参考图像。
研究发现质量失真会引起视觉显著性（Visual Saliency，VS）的改变，并且这种改变与失真有很强的相关性。为了验证这个猜想可以进行实验，可以对TID2013数据集的VS maps进行分析。TID2013有25个参考图像，24种失真类型，5个失真水平。每种类型的每个水平的失真对应25个失真图像。首先使用GBVS模型对数据集中所有图像计算VS map。然后对每个失真图像计算其与对应参考图像的VS map的MSE（均方误差）。对同一类型同一水平失真的MSE求均值。结果如下图所示（括号内是对应主观评分）：
从上面结果可以发现，对大部分类型的失真VS map的MSE越大对应的主观评分越低。
上图中a是参考图像，c和e是不同类型失真。bdf分别是ace对应的VS map。c和e的主观评分分别是5.05，2.40。d和b的VS map的MSE为4.49，f和b的VS map的MSE为198.36。可以看到e的主观质量比c更差，其VS map的失真（MSE）也越大。
从上面表格中可以看到VS map的失真在大部分情况下可以很好的度量图像失真。但是对于 CTC (Contrast Change)类型失真表现的不好，根本原因在于进行VS计算时进行了归一化操作，像素的VS值反映的是其与周围像素的相对值。如果图像本身对比度比较大，VS值就无法很好反映对比度失真。
上图中a是参考图像，b是失真图像失真类型是对比度失真。cd分别是ab的VS map，可以很清楚的看到b相对于a失真很大，而其对应的VS map却没有反映出失真。为此需要使用额外的特征来弥补VS的缺陷，这里采用gradient modulus（GM）。计算梯度的方法有很多， Prewitt operator， Sobel operator，Roberts operator， Scharr operator等，这里采用 Scharr operator。首先计算图像f(x)的水平和垂直梯度：
图像f(x)的最终梯度为：
上图中图像ab对应的GM map分别为ef。可以明显的观察到f相较于e有失真。说明GM map能很好的反映图像对比度失真。
在上面的表格中还可以发现VS map对于 CCS (Change of Color Saturation)类型失真表现不好。同时，颜色失真也无法有GM度量，因为计算梯度只使用亮度分量而不使用色度分量。为了度量色度失真需要考虑色度信息，对于RGB图像需要将其进行颜色空间变换。
上面变换的权重是针对HVS优化过的。计算梯度时只使用L通道。M和N通道包含了色度信息，可以作为特征度量颜色失真。
使用上面的VS，GM和色度特征可以定义VS-based index (VSI)。例如，对于给定的图像f1和f2，其VSI计算方式为，首先提取f1和f2的VS map分别为VS1和VS2，然后是f1和f2的GM map分别为G1和G2，M1和M2分别代表f1和f2的M通道，N1和N2分别代表f1和f2的N通道。
上式中C1,C2,C3都是取值为正的常数。
最终VSI为:
alpha和beta是参数用来调整每个因子权重。
通过上面步骤得到每个像素的VSI值后，整幅图像的VSI计算方法为：
其中VS_m(x)=max(VS1(x),VS2(x))，作为S(x)的权重。omega是整个像素空间。
实验
在TID2013， TID2008，CSIQ，LIVE四个数据集上进行实验。使用SROCC ，KROCC，PLCC，RMSE四个指标评价VSI的效果。结果如下：
| Database | Results | Nonlinear fitting code | SROCC | KROCC | PLCC | RMSE |
|---|---|---|---|---|---|---|
| TID2013 | VSIOnTID2013 | NonlinearFittingTID2013 | 0.8965 | 0.7183 | 0.9000 | 0.5404 |
| TID2008 | VSIOnTID2008 | NonlinearFittingTID2008 | 0.8979 | 0.7123 | 0.8762 | 0.6466 |
| CSIQ | VSIOnCSIQ | NonlinearFittingCSIQ | 0.9423 | 0.7857 | 0.9279 | 0.0979 |
| LIVE | VSIOnLIVE | NonlinearFittingLIVE | 0.9524 | 0.8058 | 0.9482 | 8.6816 |
| Weighted-Average | 0.9100 | 0.7366 | 0.9033 |
源码地址（matlab）：VSI.m
参考
VSI: A Visual Saliency-Induced Index for Perceptual Image Quality Assessment