双光融合调研
Introduction
双光融合是“微光+热像仪”双通道，即可见光通道以及红外光通道二合一。它同时运用红外、微光技术使之在不同的波长进行成像，同步探测目标的二维几何空间与一维光谱信息，然后利用一定的图像处理算法对多波段图像进行分析处理，充分利用各种信道中的有用信息合成图像。多应用在双光融合的测温热像仪，一般会配合平台软件使用。可见光通道可以展现目标实时的动态，作用等同于摄像头；红外光通道可以展示测温结果，以热像图的方式来展示现场温差以及温度数值。这样，避免了单一热像设备或者人员现场拍摄图像模糊不清，需要去问题点现场再次查看的弊端，一次性到位，使工作更加便捷高效。
https://www.cnblogs.com/lwc3258/p/6444188.html
Related Work
下面简介主流双流配准方法以及融合方法
图像配准
多传感器图像的集成可以提供复杂而详细的场景表示，从而提高后续任务中决策的准确性。 然而，成功的图像融合要求融合的图像严格地几何对齐。 这个问题被称为图像配准，这是因为不同传感器（例如红外和可见传感器）捕获的图像通常在大小，透视图和视野方面不同。 这种对准可以通过硬件（例如，放置分束器）来实现； 但是，用于生成对齐图像对的特殊成像设备由于成本高，可用性低而可能不实用，特别是对于需要大规模部署的实际应用。 因此，使用基于现成的低成本可见光和红外摄像机的图像配准算法可能是合适的。
具体地说，红外和可见图像的配准是指多峰配准的问题。 通常，配准方法可以分为两类，即基于区域的方法和基于特征的方法。
https://blog.csdn.net/juebai123/article/details/79050195
基于区域的方法
基于区域的方法直接处理整个原始图像的强度值。 例如，最小化特定度量下像素对应关系之间的总距离。 在图像中的突出细节很少的情况下，这些方法是可取的，在这些图像中，独特的信息是由像素强度而不是由显着结构提供的，但是它们会遭受图像失真，照明变化和繁重的计算复杂性的困扰。 基于区域的方法有三种主要类型，即类似相关的方法，傅立叶方法和互信息（MI）方法。
互相关是一种经典的类似相关的方法，它计算两个图像中的窗口对之间的互相关，并且将具有最大值的互对视为对应。 为了解决多模式配准问题，而不是使用标准的图像统计，Roche等人。 我们介绍了一种基于概率论的相似性度量，即相关比，它在注册准确性和鲁棒性方面具有明显的实际提高。 由于类似的方法在硬件中易于实现，因此经常在实时应用中使用，但是当窗口中的图像内容经历复杂的转换或包含相对平滑且没有明显细节的区域时，它们具有缺点。
傅立叶方法利用频域中图像的傅立叶表示。 这种方法的一个代表是基于傅立叶位移定理的相位相关方法，该方法最初被提出来处理图像平移，后来又扩展到考虑旋转和缩放。 红外和可见光图像配准中的应用在中进行了描述，其中傅立叶梅林变换用于解决多峰性质以及空间畸变问题。 与类似相关方法相比，傅立叶方法具有计算效率高，针对变化的成像条件和频率相关噪声的强大鲁棒性的优势。
互信息方法利用互信息作为度量来最大化两个给定图像之间的统计依赖性，然后相应地建立像素对应关系。 这些模型在基于边缘或梯度幅度的方法难以解决的领域中运行良好，因此特别适合配准多峰图像。 但是，对于红外图像和可见图像对，其纹理通常会显着不同。 这样，互信息就可能只在很小的一部分上而不是在整个图像上有效。 因此，在应用互信息之前，应选择一些显着区域，例如具有相似边缘密度或检测到前景的区域。 而且，可以对提取的特征而不是图像强度（例如，从形状轮廓采样的点）进行互信息操作。
基于特征的方法
基于特征的方法首先提取两组显着结构（例如特征点），然后确定它们之间的正确对应关系并据此估计空间变换，然后将其进一步用于对齐给定的图像对。 与基于区域的方法相比，基于特征的方法对典型的外观变化和场景移动具有更高的鲁棒性，并且如果正确实施，则可能会更快。 通常，基于特征的方法包括两个主要步骤，即特征提取和特征匹配。 前者是指对显着和独特对象的检测，而后者是指在检测到的特征之间建立对应关系。
基于特征的方法的第一步是提取可以表示原始图像的鲁棒通用特征。 对于表现出两种不同现象的红外图像和可见图像，外观特征具有全局统计依赖性，包括灰度/颜色，纹理（例如Gabor滤镜）和梯度直方图（例如SIFT 和HOG） ]），不太可能匹配。 相反，代表显着结构的特征是优选的，例如角点，边缘图，轮廓，轨迹，视觉显着特征和混合视觉特征。 在这些功能中，边缘信息是红外和可见光图像配准的最流行选择之一，因为其幅度和方向可以在不同的模式中很好地保留。 图5显示了基于边缘信息的红外和可见图像配准的典型示例。
从两个图像中获得显着特征后，我们需要在它们之间建立正确的对应关系。通常，可以将诸如边缘贴图和曲面之类的高级特征离散为点集。因此，减轻了配准问题，从而确定了对应关系并估计了两组点特征之间的转换。解决点匹配问题的一种流行策略涉及两个步骤：( i）计算一组推定的对应关系，然后（ii）通过几何约束去除异常值。在第一步中，通过修剪所有可能的点对应关系的集合来获得假定的对应关系实例。通过计算这些点的特征描述符并消除其描述符过于相似的点之间的匹配，可以实现此方案。但是，仅使用局部特征描述符将不可避免地导致大量错误匹配。在第二步中，基于几何约束的鲁棒估计器用于检测和消除异常值。
为了从推定的集合中去除错误的匹配，在过去的几十年中已经提出了许多方法。最广泛使用的鲁棒估计器之一是随机样本共识（RANSAC），它采用假设和验证方法，并尝试获得最小的无异常值子集，以通过重采样来估计给定的参数模型。 RANSAC算法在红外图像和可见光图像的配准中取得了成功。但是，该模型依赖于预定义的参数模型，当基础图像转换非刚性时，该模型的效率会降低；当错误匹配的比例变大时，它也趋于严重退化。为了解决这些问题，最近引入了几种非参数插值方法，尤其是在红外和可见图像配准的情况下。具体来说，为了处理面部识别中的表情和姿势变化，Ma等人。提出了一种正则化的高斯场准则，以非刚性方式对齐红外和可见脸[218]。此外，作者为非刚性变换估计引入了一种稀疏近似，可以在不牺牲配准精度的情况下将计算复杂度从三次降低为线性。
融合方法
红外与可见光融合方法根据其相应的理论分为七个类别，前提是不同的源图像已经严格对齐。
基于多尺度变换的方法
多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像，而现实世界中的对象通常包括不同尺度的分量。 多项研究表明，多尺度变换与人类的视觉特征是一致的，并且这种特性可以使融合图像具有良好的视觉效果。
通常，基于多尺度变换的红外和可见图像融合方案包括三个步骤，如下图所示。首先，将每个源图像分解为一系列的多尺度表示。 然后，根据给定的融合规则对源图像的多尺度表示进行融合。 最后，在融合表示上使用相应的逆多尺度变换来获取融合图像。 基于多尺度变换的融合的关键在于变换和融合规则的选择。
基于稀疏表示的方法
传统的基于稀疏表示的融合方法通常采用基于补丁的程序，忽略了不同补丁之间的相关性，导致细节信息的丢失。 将来，可以考虑不同补丁之间的相关性，以提高融合性能。 卷积稀疏编码可用于增强细节信息。 这个想法是由反卷积网络驱动的，该网络旨在建立源图像的稀疏表示的层次结构。
基于神经网络的方法
大多数基于神经网络的红外和可见图像融合方法都采用脉冲耦合神经网络（PCNN）或其变体。 PCNN由Eckhorn等人提出。 在1980年代后期； 他们介绍了一种称为Eckhorn模型的神经方法，用于模拟猫的视觉皮层中神经元的同步脉冲和耦合。 这些发现激励了PCNN的发展和产生。 即Johnson修改了Eckhorn的模型，并将修改后的方法称为PCNN。 1996年，Broussard和Rogers首次在生理学启发的理论模型的基础上将PCNN应用于图像融合，从而证明了PCNN的可行性和优势。 从那时起，已经提出了许多基于PCNN及其变体的红外和可见图像融合方法。
如下图所示，基于PCNN的红外和可见图像融合方案通常与多尺度变换结合，包括三个步骤。首先，将源图像分解为低频和高频子带。 然后，利用各种策略来获得融合的低频和高频子带。 最后，应用逆变换方法来生成最终的融合结果。 不同的图像融合方法可能采用不同的多尺度变换方法，例如可控金字塔，提升固定小波变换，冗余提升不可分离小波多方向分析，轮廓波 ，NSCT ，curvelet ，shearlet ，非下采样的scraplet变换和内部生成机制[。
还有不常用的基于子空间方法、基于显著性方法、混合方法、其他的红外和可见光图像融合方法等。
双流融合在视频监控中的应用
监视需要清晰，健壮和富有表现力的图像或视频。红外和可见图像的互补特性使它们成为完成此任务的良好融合源。给定红外和可见图像的图像特征不同，它们可以在各个方面提供对象信息。红外图像捕获不受光照，天气和其他干扰变化影响的物体的热辐射。然而，红外图像的空间分辨率低，因此很难区分细节。通过对比，可见图像的空间分辨率高并且色彩丰富，这使得其中的物体生动且易于识别。这两幅图像的融合显着提高了可视性，并有助于一些实际应用。监视方法通常用于处理视频，因此需要快速实施。因此，通常以多尺度的方式开发为监视应用而设计的融合算法。刘等。运用红外和可见光图像融合技术通过离散小波变换和区域分割提高了无人机的可见性。在中实施了框架变换，将NSCT应用于夜视监视系统的分解过程中，并将级联小波变换和Robert算子用于具有混合融合算法的具有多个传感器的监视系统中 。也存在从其他方面设计的融合模型。 Ma等。从另一个角度解决了融合问题，并提出了一种融合方法[20]，该方法可以通过采用总变化和梯度传递将低分辨率的红外图像转换为高分辨率的图像。该算法可以应用于图像而无需配准，并且在面部图像增强中有效地工作。随后，通过提供有关可见图像强度的附加信息，提出了该模型的改进版本[200]。该算法生成的融合图像自然，细节丰富。通过在乘法器交替方向方法的框架内解决融合问题，可以快速实现该算法。
红外线数据集
KAIST
用于行人检测任务
有四种标签：person（好分辨）；people（难分辨）；cyclist（骑车的人）；person？（人工不能分辨）。
共计95,328个可见光-红外图像对，总数为103,128个标注，1182个人。
https://github.com/SoonminHwang/rgbt-ped-detection
https://blog.csdn.net/Lcd_2018_7_18/article/details/103064150
OTCBVS
可以用于非视觉（例如红外）计算机视觉算法的研究。一共包含13个子数据集。
http://vcipl-okstate.org/pbvs/bench/
FLIR红外目标识别数据集
10k张可将光-红外图像对，但是没有对准，进行融合前需校正；
4个种类：训练集上有person: 22372个， bicycle :3986个， car :41260个， dog :226个；测试集上有person: 5779个， bicycle :471个， car :5432个， dog :14个
https://pan.baidu.com/s/11GJe4MdM_NH6fuENCQ2MtQ 提取码:019b
解压如果发生错误，不影响使用
可参考的博客
https://blog.csdn.net/qq_35635885/article/details/113863767?ops_request_misc=&request_id=&biz_id=102&utm_term=%E5%8F%8C%E5%85%89%E8%9E%8D%E5%90%88%E7%AE%97%E6%B3%95&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-1-113863767.nonecase&spm=1018.2226.3001.4187