文章目录
多聚焦图像融合 (MFIF) 论文和代码汇总
1. 论文和代码
1.1 综述
论文 | 论文工作 | 期刊, 发表时间 | 中科院分区 | 代码 |
---|---|---|---|---|
Pixel-level image fusion: A survey of the state of the art | 介绍了传统图像融合方法 | Information Fusion, 2016 | 1区 | |
Deep learning for pixel-level image fusion: Recent advances and future prospects | 对比了传统图像融合方法与DL方法 | Information Fusion, 2018 | 1区 | |
Multi-focus image fusion: A Survey of the state of the art | Information Fusion, 2020 | 1区 | ||
Image fusion meets deep learning: A survey and perspective | Information Fusion, 2021 | 1区 | Code | |
Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study | 论文介绍 – 作者原贴 | TPAMI, 2021 | 1区, CCF-A | Code |
Image Fusion Techniques: A Survey | Archives of Computational Methods in Engineering, 2021 | 2区 | ||
A review of image fusion: Methods, applications and performance metrics | Digital Signal Processing, 2023 | 3区 | ||
Current advances and future perspectives of image fusion: A comprehensive review | Information Fusion, 2023 | 1区 | ||
基于深度学习的图像融合方法综述 | 介绍了图像融合方法,常用的评价指标和数据集 | 中国图象图形学报, 2023 | Code |
1.2 传统方法
传统的多聚焦图像融合方法(MFIF)可以分为两类:
- 变换域方法:包括多尺度分解(MST)和特征空间变换(如SR)两大类,以及二者的结合方法 MST-SR
- 空间域方法:基于决策图对源图像中清晰的图像块进行拼接,前提是基于各种活动水平测量方法评判每个图像块的清晰程度。
方法 | 论文 | 方法类别 | 创新点 | 期刊, 发表时间 | 中科院分区 | 代码 |
---|---|---|---|---|---|---|
GFF | Image Fusion With Guided Filtering | 图像分解 + 决策图 | 首次提出基于引导滤波的MFIF方法,将图像进行 two-scale 分解再融合 | TIP, 2013 | 1区, CCF-A | |
DSIFT | Multi-focus image fusion with dense SIFT | 决策图 | 基于 dense SIFT 提取图像块特征 | Information Fusion, 2015 | 1区 | Matlab Code |
MST-SR | A general framework for image fusion based on multi-scale transform and sparse representation | 图像分解 + SR | 将 MST 和 SR 两类方法结合起来,二者分别用于融合低频和高频信息 | Information Fusion, 2015 | 1区 | Matlab Code |
CSR | Image Fusion With Convolutional Sparse Representation | 特征空间变换 | 卷积稀疏表示,解决了基于SR的MFIF方法的两大缺点 | IEEE Signal Processing Letters, 2016 | 3区 | Matlab Code |
Multi-focus image fusion using Content Adaptive Blurring | 决策图 | 基于内容自适应模糊算法实现 MFIF | Information Fusion, 2019 | 1区 | ||
A novel sparse representation based fusion approach for multi-focus images | 特征空间变换 | 基于SR的MFIF方法 | Expert Systems with Applications, 2022 | 1区 |
1.3 深度学习方法
基于深度学习的多聚焦图像融合方法可以分为两类:
- 基于决策图的方法:使用各种CNN网络判断图像块的聚焦属性(清晰程度),选择源图像中清晰的像素进行融合。
- 端到端的方法:使用各种网络,输入源图像,输出融合图像;不依赖于决策图。
1.3.1 具有代表性的方法
方法 | 论文 | 方法类别 | Backbone | 创新点 | 期刊, 发表时间 | 中科院分区 | 代码 |
---|---|---|---|---|---|---|---|
CNN | Multi-focus image fusion with a deep convolutional neural network | 决策图 | CNN | 首次将深度学习用于图像融合领域 | Information Fusion, 2017 | 1区 | Matlab Code |
p-CNN | Pixel convolutional neural network for multi-focus image fusion | 决策图 | CNN | 对 CNN 进行改进:数据集,pathc 划分方式,将二分类CNN改为三分类。实现像素级的聚焦属性分类 | Information Sciences, 2017 | 1区 | |
ECNN | Ensemble of CNN for multi-focus image fusion | 决策图 | Ensemble of CNNs | 1、将聚焦和散焦图像块拼接在一起训练。2、集成三个不同训练集训练的CNN。 | Information Fusion, 2019 | 1区 | code |
IFCNN | IFCNN: A general image fusion framework based on convolutional neural network | 端到端 | CNN | 提出了特征提取-融合-重建的通用图像融合架构 | Information Fusion, 2019 | 1区 | code |
Non-Local Multi-Focus Image Fusion With Recurrent Neural Networks | 决策图 | RNN | 基于RNN的图像融合算法非常少见 | IEEE Access, 2020 | 3区 | ||
FuseGAN | FuseGAN: Learning to Fuse Multi-Focus Image via Conditional Generative Adversarial Network | 决策图 | GAN | 使用GAN生成决策图,第一个基于GAN的MFIF方法 | IEEE Transactions on Multimedia, 2019 | 1区 | |
ACGAN | A generative adversarial network with adaptive constraints for multi-focus image fusion | 端到端 | GAN | 以源图像中对应像素点的梯度分布不同作为先验 | Neural Computing and Applications, 2020 | 3区 | |
MFF-GAN | MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion | 端到端 | GAN | 无监督GAN | Information Fusion, 2020 | 1区 | code |
SwinFusion | SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer | 端到端 | Transformer | 基于Transformer提取全局特征 | IEEE/CAA Journal of Automatica Sinica, 2022 | 1区 | code |
ZMFF | ZMFF: Zero-shot multi-focus image fusion | 决策图 | CNN with DIP (Deep image prior) | 基于DIP生成决策图,依赖于DIP实现零样本训练 | Information Fusion, 2022 | 1区 | code |
Combining transformers with CNN for multi-focus image fusion | 决策图 | Transformers with CNN | 号称首次将Transformer引入MFIF任务中,但显然不是如此 | Expert Systems with Applications, 2023 | 1区 | ||
FusionDiff | FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models | 端到端 | Diffusion (扩散模型) | 第一个基于Diffusion的MFIF方法 | Expert Systems with Applications, 2023 | 1区 | code |
1.3.2 其他 SOTA 方法
2. 多聚焦图像融合数据集
2.1 公开数据集
数据集名称 | 相关论文 | 介绍 | 图像数量 | 分辨率 | 地址 |
---|---|---|---|---|---|
Lytro | 相机拍摄得到,聚焦和散焦区域的边界自然过渡 | 20 对 Double Series 彩色图像,4对 Triple Series 彩色图像 | 520*520 | Lytro Dataset | |
MFFW | MFFW: A new dataset for multi-focus image fusion | 相机拍摄得到,聚焦和散焦区域的边界自然过渡 | 19 对 Double Series 彩色图像 | 不固定 | MFFW Dataset |
MFI-WHU | MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion | 从 COCO 数据集中选择 120 张图像作为清晰图像,对其加mask得到模糊区域,聚焦和散焦区域具有明显边界,过渡不自然 | 120 对 Double Series 彩色图像 | 不固定 | MFI-WHU Dataset |
GrayScale | 灰度图像,聚焦和散焦区域的边界自然过渡 | 10 对 Double Series 灰度图像 | 不固定 | GrayScale Dataset |
2.2 生成数据集的方法
自制多聚焦图像融合数据集的方法是:对清晰图像进行模糊获得多张聚焦区域不同的源图像。
可以使用三种方法获得:
- 对清晰图像采用 mask 进行高斯模糊,绝大部分论文采用这种方法
- 使用 ps 手动模糊目标区域,MFI-WHU数据集 就是这样做的
- 基于 RGB-D 深度数据集,设置随机深度阈值对清晰图像的前景和背景依次进行高斯模糊,获得源图像对,参考 IFCNN 和 FusionDiff
3. 图像融合评价指标
评价指标计算代码下载地址如下,下面几个项目基本包括了所有常见的图像融合评价指标。
评价指标 | 地址 |
---|---|
AG, CC, EN, FMI, MI, MSE, SSIM, MEF-SSIM, MS-SSIM, N A B / F N_{AB/F} NAB/F, PSNR, Q A B / F Q_{AB/F} QAB/F, SCD, SD, SF, VIFF | Linfeng-Tang |
EN, CC, SD, SF, SSIM, VIFF | HarrisXia |
Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, Q E Q_{E} QE, Q G Q_{G} QG, MI, NCIE, Q P Q_{P} QP, Q Y Q_{Y} QY | yuliu |
AG, EN, PSNR, Q A B / F Q_{AB/F} QAB/F, Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, RMSE, SF, SSIM 等 | xingchenzhang |