Blind tone mapped image quality assessment with image segmentationand visual perception
摘要
背景：高动态范围(HDR)图像内容可以在低动态范围(LDR)显示设备上显示，其中一些重要的视觉信息可能会失真。因此，色调映射图像(TMI)质量评价是HDR图像/视频处理领域的重要问题之一。
问题及解决办法：考虑到TMI中平坦和复杂区域视觉失真程度的差异，考虑到高质量的TMI应尽可能多地保留其原始HDR图像的信息，特别是在高/低亮度区域，本文提出了一种新的融合图像分割和视觉感知的盲TMI质量评估方法。
方法简述：首先，我们设计了不同的特征来描述TMI不同区域的失真，采用两种TMI分割方法。然后，针对目前缺乏有效的特征重要性量化算法的问题，设计了一种特征聚类方案，剔除提取特征中效果较差的特征成分，提高所选特征的有效性。最后，考虑到色调映射算子(TMO)的多样性可能导致TMI的全局和局部失真，结合了其他一些全局特征。最后形成一个综合描述TMI失真的特征向量，用于盲目预测TMI的质量。在公共ESPL-LIVE HDR数据库上的实验结果表明，所提方法的Pearson线性相关系数和Spearman秩序相关系数分别达到0.8302和0.7887。
一些问题的讨论
1、TMI中不同局部区域的扭曲程度也不同，但对TMI局部区域的分析还不够充分。而大部分算法从patch中提取局部特征可能会导致一个完整的对象被分割成两个patch而失去完整性，这种情况会使结果不准确。在特征提取过程中还应考虑全局TM失真、局部TM失真和混合TM失真的描述。并且在从局部区域提取特征时，需要考虑对象的完整性。
2、根据HVS机制，当人眼聚焦于局部区域时，往往会被较大程度的失真所吸引，而忽略较小程度的失真。此外，不同区域的失真程度也不尽相同。对于TMI中不同区域的性质，其失真表现形式也不同;与TMI中的颜色失真相比，复杂区域的纹理失真(亮度失真)更容易引起人眼的注意。对于TMI中的平坦区域，更容易感知颜色失真。因此，需要根据不同的区域提取不同的特征来描述不同的失真。
3、特征空间的高维是IQA面临的主要挑战之一[33]，但缺乏有效的特征选择方法，这可能导致较差的效果特征也反映了TMI质量的预测。
[33]L. Wu, Y. Wang,S. Zhang, et al., Fusing gini index and term frequency for text feature selection, in: IEEE Third International Conference on Multimedia Big Data (BigMM), 2017, pp. 280–283
本文的贡献
（1）针对不同TMI可能引起的全局、局部和混合失真，提出了一种基于视觉感知、TMI分割和特征聚类的TMI盲质量评价方法。值得一提的是，我们在分割TMI时保持了对象的完整性。
(2)针对TM图像不同区域的失真特征和程度，提出了亮度分割和纹理分割两种分割方法，并在此基础上设计了不同的特征提取，使结果更加准确。
(3)由于缺乏有效的工具来量化特征的重要性，设计了一种特征聚类方案来优化从TMI中提取的特征，通过去除效果不佳的特征来提高所选特征的有效性。
本文网络框架
该方法主要包括预处理、特征提取、特征聚类和最终TMI质量预测四个部分。
在预处理和特征提取部分，首先将TMI分割为复杂区域和平坦区域，然后从复杂区域提取其纹理特征，从平坦区域提取其色彩特征，同时在全局区域提取其纹理和色彩特征作为对比。
由于TMI的高/低亮度区域的细节失真程度过高，因此还将TMI分割为高亮度区域和低亮度区域，然后计算不同区域的信息熵特征来描述TMI失真。
为了便于比较，我们使用相同的纹理特征和色彩特征来评价TMI不同区域的质量。由于并非所有提取的特征在TMI质量评估中发挥相同的重要作用，在平坦区域或全局区域可能存在效果较差的特征，因此，在进行预处理和特征提取后，设计了一种利用基尼指数的特征聚类方案，有效地选择性能较好的特征，从而减少特征的冗余。所选取的特征表明，它们更适合于预测TMI质量。
最后，将选取的纹理特征、色彩特征等全局特征作为特征向量，通过随机森林(RF)模型进行集合，预测TMI质量值。
TMI分割与纹理和亮度
在观看图像的不同区域时，由于人眼视觉细胞的不同特点，人类对TMI平面和复杂区域的失真会有不同的视觉感知。因此，在提取特征之前，本文首先基于纹理分割将TMI分割为复杂区域和平坦区域。同时，考虑到TMI的不同动态范围压缩，本文还基于亮度分割将TMI划分为高、低、中亮度区域。
TMI分割与纹理
从人的感知角度来看，与纹理特征的明显差异相比，图2(a)和(b)中建筑区域的色彩特征没有明显差异，这清楚地说明在复杂区域中，图2(b)的细节比图2(a)的细节更丰富。在平坦区域则相反，对比图2(a)和(b)的天空区域，纹理特征的差异不明显，但色彩特征的差异明显，对于平坦区域，图2(a)的色彩失真要比图2(b)大得多。总而言之，由于人类视觉细胞的不同特性，人眼对平面和复杂区域的主要失真可能有不同的认知。如果分别提取TMI的复杂区域来评价纹理失真，分别提取TMI的平坦区域来评价颜色失真，将非常有针对性。
如果分别提取TMI的复杂区域来评价纹理失真，分别提取TMI的平坦区域来评价颜色失真，将非常有针对性。因此，将TMI划分为复杂区域和平坦区域，从而在不同区域提取不同的特征。
分割过程
下图描述了带纹理的TMI分割过程。
亮度分割
HDR图像在TM过程中，其亮度中动态范围的动态范围压缩程度往往小于亮度高、低范围的动态范围压缩程度，因此其中亮度区域的细节可以更好地保留在其TMI中，其TMI中的细节失真可能主要出现在高/低亮度区域。因此，TMI的高/低亮度区域将更加集中和分割，基于亮度进行特征提取。
本文采用最大熵阈值分割方法[36]提取TMI的高/低亮度区域。首先用GMID表示灰色域TMI的中值，然后用GB和GD分别表示大于或小于GMID的区域。随后，设TB为最大熵阈值，单位为GB，则通过eq可得到高亮度区域H和部分中亮度区域M1。(2)和(3)。
[36] H. Tan, G. Yang, N. Zheng, et al, An Improvement of two-dimensional maximum entropy thresholding segmentation algorithm for SAR image, in: International Conference on Computer Science and Electronics Engineering, 2012, pp. 379–382.
张量分解提取纹理特征
张量分解可以完全表示高维数据，流形学习可以更好地在低维流形中找到高维数据的内部几何结构，分解后的核心张量可以包含一些灰色域中无法包含的结构和纹理信息。本文使用tucker分解[37]进行张量分解。
[37] J. Zhang, Y. Han, J. Jiang, Tucker decomposition-based tensor learning for human action recognition, Multimedia Syst. 22 (3) (2016) 343–353
基于TMI分割的特征提取
考虑到TMI的多样性，可导致不同的视觉失真程度和特征，TMI质量不能简单地用单一的维度特征来描述，因此提取了纹理、色彩、亮度、对比度等多维特征来共同描述TMI失真。其中，在全局区域和局部区域提取纹理特征和色彩特征，在张量域提取纹理特征。纹理特征是TMI质量评价的关键，需要尽可能多的纹理特征，因此采用灰色梯度共现矩阵(GGCM)和信息熵作为共15维特征。选取颜色矩和HSV通道高斯适应度直方图的优度作为彩色特征来描述TMI中的彩色失真。在亮度分割方法中，用各个区域的信息熵来表示区域的失真程度，然后用高亮度和低亮度区域的阈值作为特征来衡量图像的亮度均匀性。最后，从全局区域提取亮度系数和对比度来表示自然度。
特征聚合
由于对不同区域提取的特征采用不同的组合方法，得到的结果并不相同[21]，我们对相应的实验结果进行了分析，并设计了特征聚类方案。
质量预测
对于一个TMI，所有的特征得到并聚类后，形成一个特征向量，利用RF模型进行集合，预测最终的TMI质量评分。射频作为一种高效的机器学习方法，不仅对多维特征数据集具有较高的分类效率，而且在预测TMI质量方面也有很好的前景。
总结
实验结果表明，所提方法在ESPL-LIVE HDR数据库上具有较好的性能，综合性能优于所有对比方法，表明所提方法与主观感知具有较好的相关性。但TMI质量评估指标仍有改进的空间，未来的工作将侧重于高亮度和低亮度区域的特征提取，并尝试以学习者驱动的方式评估TMI，以获得更令人满意的性能。