图像质量评估指标（3） 特征相似度FSIM

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xiaoxifei/article/details/84949594

传统全参考图像质量衡量标准FSIM（feature similarity）

ssim一经提出引来了很多人的研究，并在其上进行一系列的变种，其中一种比较成功的变种是FSIM，该算法认为一张图片中的所有像素并非具有相同的重要性，比如物体边缘的像素点对于界定物体的结构肯定比其他背景区域的像素点更为重要；另外一种重要的评价指标VIF尽管在不同的子带上具有不同的权重，但是在具体的某一子带上参与计算的像素点均具有相同的权重；根据图像本身的特性，这样不加区分并不合适。因此改进的方向实际上重在如何区分这些重要点并给与合适的权重

关键问题：什么样的特征足以描述图像，并且用于评估

基于心理学和脑科学的一些研究，发现不同频率的傅里叶波具有相同的相位时，往往会对应着视觉上可辨认的重要特征。这就意味着从某些一致性的相位上能够提取出特征信息来。
另外图像梯度幅值也是一个用于衡量对比度的标准

计算PC（phase congruency） 相位一致

这里计算PC采用的是前人的研究结果，引用论文是[P. Kovesi, “Image features from phase congruency”, Videre: J. Comp. Vis. Res., vol. 1, no. 3, pp. 1-26, 1999.],计算公式如下：
$PC_{2D}(x) = \frac{\sum{_j}{E_{\theta_{j}}(x)}}{\varepsilon + \sum{_n}{\sum{_j}A{_n,}{_\theta{_j}}(x)}}$
具体的计算过程可以参考FSIM的matlab源代码中的相关部分

计算GM

对于GM的计算可以采用一些常规的算法，比如sobel和prewitt等
文中采用的是Scharr算子，如下所示：
$G_x(x)=\left[ \begin{matrix} 3& 0& -3 \\ 10&0&-10 \\ 3&0&-3 \end{matrix} \right]*\frac{1}{16}*f(x)$
$G_y(x)=\left[ \begin{matrix} 3& 10& -3 \\ 0&0&0 \\ -3&-10&-3 \end{matrix} \right]*\frac{1}{16}*f(x)$
最终的GM为
$GM = \sqrt{G_x^2 + G_y^2}$
至此FSIM所需的重要指标可以依据上述计算得到

FSIM的计算

这里实际上也是仿效SSIM的计算构成，同样由两部分耦合的幂指数
FSIM由PC项和GM项耦合
$S_{pc}(x)=\frac{2PC_1(x)PC_2(x)+T_1}{PC_1^2+PC_2^2+T_1}$
$S_G(x)=\frac{2G_1(x)G_2(x)+T_2}{G_1(x)^2+G_2(x)^2+T_2}$
$S_L(x)=[S_{PC}(x)]^\alpha[S_G(x)]^\beta$
按照惯例alpha和beta取1
这样计算出来的值是将整张图像的像素权重看成是一样的情况，基于前人的结果，认为PC可以用来做权重衡量因子，并且图像中某一位置是否具有超过其他位置的重要性跟它的PC值成正相关。所以真正的FSIM是如下定义
$FSIM=\frac{\sum{_{x\in{\Omega}}}S_L(x)PC_m(x)}{\sum{_{x\in\Omega}}{PC_m(x)}}$
其中的 $PC_m(x) = max(PC_1(x),PC_2(x))$
至此可以使用FSIM在灰度图像中进行IQA,关于FSIM在彩色图像中的应用，可以对应进行迁移。
关于SSIM和FSIM的最终计算都是采用 $\frac{2xy}{x^2+y^2}这种计算方式，经过同专业人士的讨论，可能认为这种构型简单并且能有效反映相对变化对视觉信号的影响，当然具体的情况我依然存疑$

FSIM计算源代码地址：源代码地址
FSIM论文地址：论文地址