基于深度学习框架的指标 一
基于深度学习框架的IQA指标 （1）
如果说传统领域内的指标有什么缺陷的话，我个人认为传统指标的缺陷归根到底还是其所设计的特征不能很好地匹配真实的人类视觉，在某些领域往往会产生同人类视觉感知相左的结论。如果说深度学习IQA指标的设计有什么思想基础的话，我认为应该是从刻画视觉感知的角度出发来制定IQA的指标，形象的来说，拿一个vgg作为特征提取器，然后衡量两张图这些特征的“距离”可能是用来训练一个深度学习IQA框架的路径。
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
这篇文章是2018年发出的，目前我在google上查了下，这篇文章是引用率最高的，也就是说这篇文章的结果采信度目前是很高；我本人在工作中也测试过文中提到的作者训练过的AlexNet，得到的结果确实要比传统的SSIM更为敏感，起码提高一个数量级。文中的判别示例展示如下：
从示例中我们可以看到，在一些情况下文中的网络训练结果确实表现比传统的SSIM、FSIM更加优越，判断结果更能接近人视觉判断。注意，途中的Random Network是指作者使用没有进行训练而直接引用别人的的网络权重，其余的网络是作者进行过训练的。
文章的主要贡献点
- 引入了一个大规模的，高度多样化的，感性的，相似性数据集，包含484K数量的人类判断。这样的数据集不但包括参数化的变形，也有真正的算法输出。
- 展示了在监督下训练的深层次特征，半监督和无监督的目标相似情况，模拟低层次的特征提取情况，这样的效果确实比先前的一些算法模型表现更好
- 证明网络本身结构优秀与否并不能决定最终结果的优秀与否，未经过特殊训练的网络并不能表现良好（我感觉这里说的是直接采用训练好的vgg并不能得到好的结果）
- 利用标注好的数据，能够校准那些预训练模型的特征层提取，以使之更能符合IQA需求
文章特点
说实话，我看了这个论文并不觉得作者的思路有方法论上的突破，网络通用结构如下图所示：
如果一定要说有什么特点的话，我觉得最大的特点应该是作者对大量的数据采用了基于心理学原理的标注手段进行了标注，以使得最终的target更为接近人类的判别标准。作者提到了两种标注方法：1.AFC相似性判断，就是讲原图中一个patch进行不同种类的变换（这里有常规算法的变换和基于CNN的变换），然后让人来判断变换后的结果中哪一个更为接近原来的patch。 2. JND ，就是拿一张图和基于该图变换的图进行找人来进行判断，看这两张图是否是一样的。 额，老实说，我不太明确心理学上这么做是否具有足够好的科学可信度，不过这么做了并且得到更好的结果了，我们就姑且信吧。
需要注意的事项
这里我自己做实验证明过，确实他们训练出的模型能够更好地得到结果，更为接近人视觉判断的结果，而且也比较小，可以作为loss来使用，因此也可以考虑使用。