1. 多聚焦图像融合简介
在光学镜头的特定焦距设置下，只有景深（depth-of-fifield (DOF)）范围内的物体在照片中具有清晰的外观，而其他物体则会模糊，多聚焦图像融合就是将不同焦距设置拍摄的同一场景的多幅图像进行融合，获得全场景聚焦图像。
目前，多聚焦图像融合方法可以划分为：变换域方法（transform domain methods） 、空间域方法（spatial domain methods）和深度学习方法（Deep Learning methods）。
上图中涉及的方法汇总在https://github.com/xingchenzhang/MFIF。
2. 拉普拉斯金字塔图像融合
论文：A Multi-focus Image Fusion Method Based on Laplacian Pyramid
代码：https://github.com/sjawhar/focus-stacking/tree/87f87a5a436dd07aa53ebfa837d776632ea9f57b
2.1 高斯金字塔
金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似，层级越高，则图像越小，分辨率越低。
高斯金字塔的生成过程是：
-
对于给定的图像先做一次高斯平滑处理，也就是使用如下的的卷积核对图像进行卷积操作；
-
然后再对图像采样，去除图像中的偶数行和偶数列，然后就得到一张下采样后的图片；
-
对这张图片循环1) 和 2)操作就可以得到高斯金字塔。
2.2 拉普拉斯金字塔
拉普拉斯金字塔是通过在高斯金字塔的每一层，采用源图像减去上一层（低分辨率）图像上采样后的图像得到的残差图像。
上采样过程如下：
- 将低分辨率图像在每个方向扩大为原来的两倍，新增的行和列以0填充；
- 使用先前同样的卷积核核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值；
- 如此放大后的图像相比原来同分辨率的图像会存在信息的丢失，两者相减就可以得到单层拉普拉斯图像；
2.3 拉普拉斯图像融合
2.3.1 融合pipeline
拉普拉斯金字塔包含了图像每一层的边缘细节（细节信息多的区域就代表聚焦区域），因此通过某种融合策略融合两幅图像对应的拉普拉斯金字塔，最后再从拉普拉斯金字塔进行图像重建就可以获取全场景聚焦的图像。
此处最重要的是设计融合策略，一方面是考虑融合粒度：pixel-level和region-level，另一方面是需要对pixel或者region进行聚焦判别。简单来讲，就是需要设计一个函数，对输入的两幅图像的逐层拉普拉斯图像的对应位置（像素/区域）进行判别，到底该位置哪幅图像更聚焦（更清晰）。
在本文中，拉普拉斯金字塔顶层（蓝色）的融合策略和其余层（绿色）的融合策略是不一致的。
2.3.2 顶层融合策略
本文采用region-level的融合策略，对于顶层的聚焦判别，采用方差和熵来进行region聚焦判别；
-
方差：方差的公式就不具体介绍了，用在此处，也就是说，当当前局部块处于拉普拉斯图像的细节区域时，方差越大，处于平滑区域时，方差越小；
-
熵：此处的熵采用了图像一元熵的算法，先在整张图像熵统计一下0-255每个灰度级占所有像素的频率，进而依据下图方式计算中心点的熵。在拉普拉斯图像中，边缘区域占比较少，平滑区域占比较大，由于 − l o g -log −log函数的负相关曲线，因此一个边缘区域的像素（频率值小）的熵就会比一个平滑区域的像素（频率值大）的熵要大。
因此，对于拉普拉斯金字塔顶层（最低分辨率）的融合：
- 当某个像素所处的局部块内A图的方差和熵皆大于B图的时，融合拉普拉斯顶层当前像素的值就取A图拉普拉斯顶层对应像素的值。
- 当某个像素所处的局部块内B图的方差和熵皆大于A图的时，融合拉普拉斯顶层当前像素的值就取B图拉普拉斯顶层对应像素的值。
- 不属于以上两种情况时，融合拉普拉斯顶层当前像素的值就取A图和B图拉普拉斯顶层对应像素的平均值。
2.3.3 其余层融合策略
对于剩余层，同样采用区域融合策略，具体如下，即对每个像素处采用一个类似高斯核的卷积核进行卷积，讲卷积结果作为当前像素处的熵。由于拉普拉斯图像本身就能反映聚焦信息，聚焦区域边缘细节多，拉普拉斯像素绝对值也大，此处采用卷积操作来聚合邻域的像素值。最终，融合拉普拉斯图像某个像素处的值等于熵值最大的那一层的对应像素的值。
2.3.4 重建融合图像
最终，通过融合拉普拉斯就可以重建出融合后的包含全场景聚焦的清晰图像。
参考
- Multi-focus Image Fusion: A Benchmark
- Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study