VIFB: A Visible and Infrared Image Fusion Benchmark
CVPR2020
GitHub - xingchenzhang/VIFB: Visible and Infrared Image Fusion Benchmark
VIFB: A Visible and Infrared Image Fusion Benchmarkarxiv.org/abs/2002.03322
微信公众号上对此文章的解读：拒绝“王婆卖瓜，自卖自夸” | VIFB：第一个可见光与红外图像融合Benchmark
部分红外与可见光图像融合代码下载链接：部分红外与可见光图像融合代码下载链接 - 知乎
作为初步的尝试，我们希望VIFB的出现，可以给可见光与红外图像融合领域的研究者们提供一个运行算法和评价算法的平台，可以缓解可见光与红外图像融合领域文献中缺乏统一评价平台而导致的“王婆卖瓜、自卖自夸”现象，为领域的发展助一分力。
1、存在的问题
目前的文献里基本上都是“王婆卖瓜，自卖自夸”。考虑到这些情况，以及目标跟踪等领域普遍存在benchmark（如OTB, VOT等），我们认为制作可见光与红外图像融合领域的benchmark是非常有必要的。作者始终认为，只有明确和正视基于深度学习的图像融合算法的真实性能，才有可能实现进一步的发展。否则的话，沉浸在“自我SOTA”的假象之下，领域难以真正进步。
然而，从可见光与红外图像融合这个研究方向出现以来，该方向的研究就存在一个重大问题：缺乏benchmark。这主要表现在以下几个方面：
首先，没有统一的数据集。尽管有一些数据集相对常用，但并没有形成标准或者共识，因此在文献里，普遍存在测试图片不一致的情况。很多时候，是张三用A图片测试性能，而李四用B图像对在测试性能。
其次，没有统一的评价指标。和目标跟踪等有ground truth的领域不同，图像融合领域一般没有ground truth，从而导致对融合结果的评价没有标准答案。因此，图像融合领域的性能评价一般分类两部分：定性评价和定量评价。
定性评价也称主观评价，即靠人眼去观察融合图像的质量。尽管定性评价很重要，但显然主观性太强，毕竟“众口难调”，每个人的评判标准都不一样。定量评价是指使用一些评价指标（evaluation metrics）去对融合图像进行评价。然而，由于前述的没有标准答案存在的缘故，目前也没有统一的评价指标。事实上，到目前为止，研究人员大约设计了不下30种各种各样的评价指标用于评价融合图像的质量。然而，这些指标中并不存在最好的指标。指标的评价效果非常取决于测试图像，并且指标之间还存在互相矛盾的现象。因此，在文献中通常的做法是只展示对自己算法有利的几组指标的结果。
基于上述两个原因，在可见光与红外图像融合领域，缺乏一个统一的benchmark来客观、全面地评价算法性能。
2、VIFB
因此，我们着手制作了一个初步的benchmark，即visible and infrared image fusion benchmark (VIFB)。据我们所知，VIFB是可见光与红外图像融合领域的第一个benchmark。
在VIFB中，截止到目前为止，我们收集制作了一个含有21对可见光与红外图像对的测试集、一个含有20种可见光与红外图像融合算法的代码库和13种评价指标。此外，我们还制作了软件平台，在该平台上我们统一了这20种算法的接口，可以一键运行并获得融合结果（420张融合图像）和评价指标的计算结果。
另外，在VIFB中还可以非常方便地添加和运行算法（使用我们设计的函数接口）并计算评价指标。或者，将在其他环境中运行得到的融合图像添加到VIFB中进行评价指标的计算。此外，在VIFB中加入新的源图像也非常便。
3、实验
我们基于VIFB做了一些实验，对VIFB中的20种图像融合算法（绝大多数发表于2016年以后）的性能进行了对比。
以下是部分定性实验结果：
以下是定量实验结果：
主要结论：基于深度学习的图像融合方法的性能比不上传统方法。在上述20种方法中，性能最好的深度学习方法在定量评价指标上仅排并列第二，另外两种深度学习方法则排名更加靠后。在定性评价（即视觉效果）上，深度学习方法的视觉效果也比不上某些传统方法。
此外，本文测试的三种深度学习方法的运行效率不高，无法实现实时融合。也就是说，从综合性能上来讲，目前基于深度学习的图像融合方法并没有取得优势，遑论压倒性优势了。
考虑到在检测、识别、分类等领域里深度学习方法完全吊打传统方法，图像融合领域的这一特点值得深思。
当然，由于一些深度学习方法没有开源，我们无法获得其源代码，因此上述结论是基于VIFB得到，可能有所偏差。但是我们认为该结论还是具有一定的参考意义的。