盘点近年来基于深度学习的光场图像超分辨率(Light Field SR)

光场图像介绍

光场(Light Field,LF)相机通过在主透镜和图像传感器之间加入一个微透镜阵列，可以同时捕捉角度(angular)信息和空间(spatial)信息，在3D重建和虚拟现实应用中得到广泛应用，具有广泛的应用前景。然而，由于传感器分辨率的限制，光场相机通过牺牲空间分辨率来换取角度分辨率。因此，有限的空间分辨率给相关应用的发展带来了很多困难，成为光场相机的主要瓶颈。

光场图像的两种表示方法： SAIs(sub-aperture images,子孔径图像)和MacPI图像(宏像素图像) 。

光场图像的两种表示方法

图片地址

我们通常使用SAIs表示方法描述光场图像。 我们使用四维函数$(u,v,x,y)$表示一组光场图像，其中$u$,$v$代表角度(angular)，后面两个维度$x$,$y$代表每个角度的图像(spatial)尺寸。

当然不同的文章的表达方式可能不同，有些将两个角度维度放在前面，而有些将两个空间维度放在前面。为统一起见，本文采用$(u,v,x,y)$的表达方式。

SAIs表示方法

图片地址
一般设置角度分布$u$=$v$，例如下面这个数据集就是$u$=$v$=5。$x$,$y$就是每张图的宽和高。

SAIs图像实例

除了上面这种方式，还有一种方法描述光场图像： MacPI图像(宏像素图像) 。
我在这篇博客详细介绍了从SAIs到MacPI的具体过程。将SAIs表示转换为MacPI表示，需要提取每个SAI相同空间坐标下的像素，并根据它们的角度坐标进行组织，从而生成宏像素。然后，根据宏观像素的空间坐标对其进行组织，生成一个MacPI。（见图1）

光场图像超分辨率（Light Field Image Super-Resolution,LFSR）

光场图像的超分辨率任务是将低空间分辨率的LR $(u,v,x,y)$ 构建出具有高空间分辨率的HR $(u,v,rx,ry)$ ,其中$r$代表上采样的尺度。

光场图像超分辨率领域的发展和单张图像的超分辨率（SISR）有类似之处，总体上也经历了从非深度学习方法到基于学习（learning-based）方法的发展过程。本文介绍一些近年基于深度学习的光场图像超分辨率的文章。

循环卷积神经网络
IEEE TIP 2018: LFNet: A Novel Bidirectional Recurrent Convolutional Neural Network for Light-Field Image Super-Resolution
提出了嵌入隐式多尺度融合层(Implicitly Multi-Scale Fusion Layer,IMsF)的双向循环卷积神经网络(Bidirectional Recurrent Convolutional Neural Network)，对LF数据相邻子孔径图像之间的空间相关性进行迭代建模。在该结构中，对循环卷积进行了改进，使其在LFSR中更加有效和灵活。

LFNet

LFNet IMsF

残差卷积网络
CVPR2019: Residual Networks for Light Field Image Super-Resolution
提出了一种基于学习的利用残差卷积网络重建高空间分辨率光场的方法。首先将一个光场中的多视角图像以一致的亚像素偏移量分组成不同的图像堆栈，并将其送入不同的网络分支中，隐式学习其内在的对应关系。然后从每个分支计算出不同空间方向上的剩余信息，并进一步集成以补充视图图像的高频细节。最后，提出了一种灵活的超分辨不同角度分辨率的全光场图像的方法。

Residual Networks for Light Field Image Super-Resolution

光流估计+低秩近似
2019 Light Field Super-Resolution using a Low-Rank Prior and Deep Convolutional Neural Networks
提出了一种基于学习的空间光场超分辨方法，该方法可以在所有子孔径图像上恢复整个光场的一致性。该算法首先利用光流对光场进行对齐，然后利用低秩近似降低光场的角度维数。然后，我们将得到的低秩模型的线性无关列视为嵌入，使用深度卷积神经网络(DCNN)进行恢复。然后使用超分辨嵌入重建剩余的子孔径图像。使用inverse warping恢复原始的不一致信息，缺失的像素使用一种新的光场去瑕疵(inpainting)算法来近似。

Block diagram of the proposed light field super-resolution method

空间-角度交互
ECCV2020: Spatial-Angular Interaction for Light Field Image Super-Resolution
提出了一种针对光场图像的空间-角度交互网络(LF-InterNet)，即从输入的LFs中分别提取空间特征和角度特征，再进行重复交互，逐步融合空间信息和角度信息。

LF-InterNet angular and spatial feature extractors

LF-InterNet

2020 IEEE TCSVT: Light Field Super-Resolution By Jointly Exploiting Internal and External Similarities
提出了一种新的基于CNN的从光场中学习外部相似度的方法，该方法将每个子孔径图像的VDSR结果作为输入，提出了一种新的基于CNN的内部和外部相似度融合方法。

Framework of light field SR by jointly exploiting internal and external similarities

Network architecture of FusNet

Network architecture of EnhanceCNN