图像质量评价（三）：FSIM

feature similarity index mersure(FSIM)利用特征相似性进行质量评价。因为human visual system (HVS)是基于一些低层次特征来感知图像的，而相位一致性特征( phase congruency,PC)可以很好的刻画局部结构。同时由于PC对于图像的变化具有相对不变性，这有利于提取图像中稳定的特征但是有时图像的变化确实会影响观感，所以需要使用梯度特征(gradient magnitude,GM)来弥补。FSIM中使用了PC和GM两个特征互为补充。

相位一致性特征提取( phase congruency,PC)

PC模型假设在傅里叶分量相位最大的点特征会被感知到。对于PC map的计算有不同方法，这里介绍Kovesi提出的方法。对于一维信号g(x)，其PC计算如下：

对于上面的正交的滤波器对，使用log-Gabor滤波器。

二维灰度图像的PC计算，可以先在多个方向上计算一维PC，然后通过一定规则将结果整合。上面的一维log-Gabor滤波器可以通过在与其方向垂直的方向上使用一个传播函数将其变为二维，传播函数可以使用高斯函数。

上面PC取值在0~1间。

梯度特征提取（GM）

梯度可以通过很多算子计算：

在水平和垂直方向分别计算梯度，然后计算最终梯度;

FSIM计算

对于两幅图像f1和f2，其FSIM计算可以首先通过上面的步骤得到PC1,GM1,PC2,GM2。

首先PC的相似度计算如下;

GM相似度计算如下：

PC和GM融合的相似度为：

FSIM计算如下：

彩色图像FSIM计算

首先对彩色图像进行颜色空间转换：

色度相似性计算如下：

彩色图像的FSIM计算如下：

实验结果

Database	Nonlinear fitting code	Results	FSIM	FSIMC
SROCC	KROCC	PLCC	RMSE	SROCC	KROCC	PLCC	RMSE
TID2013	NonlinearFittingTID2013	FSIMOnTID2013	0.8015	0.6289	0.8589	0.6349	0.8510	0.6665	0.8769	0.5959
TID2008	NonlinearFittingTID	FSIMOnTID2008	0.8805	0.6946	0.8738	0.6525	0.8840	0.6991	0.8762	0.6468
CSIQ	NonlinearFittingCSIQ	FSIMOnCSIQ	0.9242	0.7567	0.9120	0.1077	0.9310	0.7690	0.9192	0.1034
LIVE	NonlinearFittingLIVE	FSIMOnLIVE	0.9634	0.8337	0.9597	7.6780	0.9645	0.8363	0.9613	7.5296
IVC	NonlinearFittingIVC	FSIMOnIVC	0.9262	0.7564	0.9376	0.4236	0.9293	0.7636	0.9392	0.4183
Toyama-MICT	NonlinearFittingMICT	FSIMOnMICT	0.9059	0.7302	0.9078	0.5248	0.9067	0.7303	0.9075	0.5257
A57	NonlinearFittingA57	FSIMOnA57	0.9181	0.7639	0.9393	0.0844	0.9181	0.7639	0.9393	0.0844
WIQ	NonlinearFittingWIQ	FSIMOnWIQ	0.8006	0.6215	0.8546	11.8949	0.8006	0.6215	0.8546	11.8949
Weighted-Average

参考

https://sse.tongji.edu.cn/linzhang/IQA/FSIM/FSIM.htm

《FSIM: A Feature SIMilarity Index for Image Quality Assessment》

感兴趣的请关注微信公众号Video Coding