文章地址：
摘要
本文提出了一种新的深度学习方法，从单光场图像重建共焦显微镜堆栈。为了进行重建，本文引入了LFMNet，这是一种受U-Net设计启发的新型神经网络结构。
给定一个1287×1287像素的光场图像，它能够在50毫秒高精度重建112×112×57.6µm3维体积(1287×1287×64个像素点)，因此，在相同的体积分辨率下，显著减少了720倍的共焦扫描时间和64倍所需的存储空间。
为了证明该方法在生命科学中的适用性，我们在带有荧光标记血管的小鼠大脑切片上进行了定量和定性的评估。由于大大减少了扫描时间和存储空间，我们的设置和方法直接适用于实时活体三维显微镜。我们提供光学设计、网络结构(network architecture)和训练程序(training procedure)的分析，以优化重建给定目标深度范围的体积。为了训练我们的网络，我们建立了一个362张小鼠脑血管光场图像的数据集和相应的三维共焦扫描对齐集，我们使用它作为gt。该数据集将供研究之用。
介绍
从共焦显微镜到光场显微镜
共焦显微镜(Confocal microscopes)可以提供高质量的体积扫描，在生命科学中得到广泛的应用。然而，共聚焦成像需要高激发功率，因为大多数荧光被针孔阻挡，导致高光毒性和光漂白(high photo-toxicity and photo-bleaching)。
由于图像的体素采集是非常耗时的，并且需要对采集到的数据进行大量存储。此外，由于其对运动样本的时空畸变，不适合快速的活体成像。例如，神经传导过程中的钙信号或斑马鱼心脏跳动等过程的成像，往往会受到重建伪影的影响。
使用光场显微镜(light field microscopy)结合深度学习方法来解决上述缺点，并确保高质量的体积重建。光场显微镜是一种技术，它可以把任何宽场显微镜变成一个不需要扫描的单镜头3D显微镜。这是通过在光路中放置微透镜阵列(MLA)和使用算法(例如反卷积)来从光场(LF)图像重建观测体积来实现的。它可以实现先进的计算应用，例如在固定的和自由移动的动物中神经活动的体内钙成像。此外，它还被用于小鼠脑组织成像，其高散射高达380µm深。
从反卷积算法到卷积神经网络模型
大多数体积重建方法都是先建立光学的数学模型，然后利用该模型设计LF图像的反卷积算法[16-19]。目前最先进的算法存在空间分辨率差(主要是在显微镜焦平面)、重构伪影和计算时间长等问题，不适合实时成像。相比之下，如图1所示，我们的解决方案在类似光学设置下，在分辨率接近共焦成像的情况下，提供了显著的体积重建。此外，我们的方法将采集和重构时间从几小时减少到几分钟，从而产生了一种每秒捕捉和处理10帧的方法(大部分由于相机100ms的曝光时间而延迟)。
通过设计一种新的卷积神经网络(CNN)架构LFMNet，并使用真实的共焦堆栈及其对应的对齐的LF图像来训练它(详见3.5节)来实现这一点。与之前在合成数据[20]上训练深度学习架构的工作相比，我们使用了真实的LF图像和共焦堆栈的数据集。在建立和利用这样的数据集的主要挑战是LF图像和相应的共焦扫描体积必须对齐。我们的对齐技术首先通过基于模型的方法[21]计算重建一个近似的尖锐体积。然后，通过相关映射将沿z轴平均体积得到的图像与以同样方式从共焦体积得到的图像进行匹配。相关映射产生一个二维位移，允许我们定位和对齐左焦图像到共焦扫描体积。我们不需要考虑进一步的转换(例如，平面内旋转)，因为我们用光学方法将LFM传感器校准到共焦显微镜的传感器上。我们通过实验发现，我们的对齐过程的整体精度足以训练LFMNet输出高质量的重建。我们观察到，提出的方法不需要一个耗时的过程来建立数据集，因为不需要手动标记，只需要少量的高分辨率图像(在我们的数据集362张)。我们还将在3.4节中说明用于将LF图像与共焦堆栈对齐的方法。
使用真实数据而不是合成数据的主要优点是，经过训练的网络有机会在感兴趣的领域内预先捕获更有效的图像。本文将公开362张LF图像的数据集(每个1287 × 1287像素，对应的LF空间/角度分辨率为33 × 33 × 39 × 39个元素[22])及其对应的共焦叠加(1287 × 1287 × 64体素)用于研究。
这项工作的第二个贡献是LFMNet的设计。为了更好地模拟输入LF图像的四维特性，我们的网络的第一层是一个四维卷积，其输出被重塑为图像，然后作为输入输入到一个修改的U-Net架构，其中通道被映射到深度轴。此外，网络被设计成全卷积的，这样它可以处理不同大小的输入LF图像，并且有一个有限的接受野，以避免过拟合。这两种设计选择使得LFMNet能够在大量裁剪的LF图像区域和相应的共焦堆栈上进行计算可行且稳定的训练(详见3.5.2节)。
第三个贡献是分析LFM光学配置，以确定哪种设置产生最佳的三维重建。MLA和传感器在LF系统光路中的位置对传感器可获得的角度和空间信息量、混叠量和可实现的三维重建精度起着至关重要的作用[19,22-24]。
方法
- 设计光场显微镜
- 样品处理
- 数据集的准备
- LF图像和共焦体积的采集和对齐
- 深度学习模型
设计光场显微镜
我们的LFM设置包括一个蔡司Axio观察显微镜和一个40 × /0.9 NA空气物镜。MLA(来自柔性OKO光学)被放置在显微镜的横向光路中，并以2.5mm焦距和112µm间距的规则包装(正交排列)内置。
MLA之后是一个1:1中继镜头(埃德蒙光学消色差对100mm焦距)，转换由MLA形成的图像到相机平面。我们的相机是Baumer VCXG-124M CMOS 3.45µm平方像素。为了扫描样品，我们使用了带有通用安装框K(蔡司)的电动工作台和MicroManager[39]编写的自定义脚本，它允许以自动的方式获取我们的样品。
样品处理
(略)
数据集的准备
Confocal Microscope Image Acquisition
我们在蔡司LSM 800显微镜上获得了共焦显微镜图像。首先，我们用10 × /0.45的目标对全脑切片进行成像，以创建一个粗略的切片概述。然后选取感兴趣区域(ROI)，用40 × 1.3的油浸物镜进行扫描。我们用0.087µm的横向采样和0.9µm的轴向采样对每个ROI的地砖网格进行图像处理，每个跨越1536 × 1536 × 64体素。对于共焦数据集，我们从两个大脑切片中分别获取了12 × 8、7 × 17和17 × 12块的3个区域，这些区域之间的重叠度为10%。
然后，我们在10×概览图像上标记roi，以便更容易地定位LFM图像。为了进一步提高采集体积的质量，我们进行了反褶积步骤。为此，我们在惠更斯远程管理器(基于web的惠更斯核心反褶积软件(SVI，荷兰)实现)上运行了经典的最大似然估计算法，共25次迭代。最后，通过在每个贴图的边界上应用一个同心梯度，并将它们添加到最终的图像中，这些贴图被缝合在一起。
LF图像和共焦体积的采集和对齐
经过一系列处理之后，最终的数据集由33 × 33 × 39 × 39个元素组成的362幅LF图像及其与1287×1287×64 voxels相对应的共焦叠加，体素大小0.087×0.087×0.9µm。数据集被分割，317张图像用于训练，35张用于验证，10张用于测试.
深度学习模型
我们感兴趣的是从LFM图像中提取共焦堆栈。然而，这种映射提出了几个挑战。首先，由于LF图像携带的数据量比共焦堆栈少，直接映射是不适定（ill-pose）的。为了引入缺失的信息，我们利用共焦堆栈空间的复杂性是有限的这一事实，并使用神经网络来捕获这种结构。其次，由于光学结构的原因，LFM图像在每个深度(即有效体积切片分辨率)[19]上捕捉的信息并不相同。特别是，在MLA上的聚焦图像对应的深度处，角分辨率是最低的。使用精确的光学模型有助于恢复重建体积的细节。事实上，像差和不对中可能是有益的，因为它们扭曲了由理想系统定义的采样模式，从而避免了退化成像条件。这些方面已经被Li Yi等人利用，例如[42]。然而，对像差、不对准和其他光学参数进行精确建模是一项非常具有挑战性的任务，误差会导致强烈的伪影。因此，我们通过利用深度学习的数据驱动方法(即不需要显式建模)来解决这些挑战。我们用真实数据训练神经网络，目的是学习显微镜设置和数据域的良好先验。
结果
