Deep-Learning Super-Resolution Microscopy Reveals Nanometer-Scale Intracellular Dynamics at the Millisecond Temporal Resolution
该篇论文目的是为了提高时间分辨率使其能够支持活细胞超分辨成像，开发了一种名为SFSRM的网络结构。
背景
活细胞荧光成像需要低光毒性照明和高成像速度，通常使用广角(WF)荧光显微镜进行。传统荧光显微镜的空间分辨率受到光波衍射效应的限制，无法分辨200 nm以下的亚细胞结构。单分子定位显微镜(SMLM)，包括光激活定位显微镜(PALM) 和随机光学重建显微镜(STORM) ，提高了10倍的空间分辨率(约20 nm)，但通常需要超过数千帧的分离单分子荧光事件来重建一张SR图像;因此，在极少数情况下，SMLM已在秒尺度时间分辨率下应用于活细胞。由于光学系统的物理边界，我们必须在空间和时间分辨率、可达到的信号强度和细胞毒性之间做出固有的权衡。
方法
- 应用增强超分辨率生成对抗网络(ESRGAN)、多分量损失函数和先验信息调节，可以将单个衍射限制帧解析为分辨率提高10倍的SR图像
- 预先部署信号增强网络(SEN)来逐步优化图像的信噪比和分辨率，我们成功地将输入图像的信噪比与最终重建质量解耦，从而在不牺牲空间分辨率的情况下实现了高速活细胞成像
基础网络框架选择
ESRGAN,RCAN,detail -fidelity attention network (defan) 三种网络进行测试发现ESRGAN成功地分辨出了两个相距仅约20 nm的折线;然而，其他两个网络不能重建微妙的结构，见图1(b)1。选择ESRGAN 进行使用。
(关于这三种网络我会另开文章进行介绍）
引入感知损失
将感知损失引入显微图像恢复中，以实现高频细节重建。为了保证重建细节的准确性，我们开发了一种结合像素导向的损失(MS-SSIM-L1)和感知损失的多分量损失函数，以提高细节的保真度;此外，Adv损失和频率损失被结合在一起，以避免图像中的模糊和抑制高频伪影。
引入edge map
如果图像受到噪声的干扰，重建结果会迅速退化。我们从单个LR图像计算边缘映射(补充图1c)，并将其作为网络的额外输入。图1b(III)的结果表明，边缘地图成功引导网络从噪声LR图像中恢复精细特征，提高了精度(图1b(III)图)（w/）有edge （w/o) 无edge
SEN 提高信噪比
随着输入图像SNR的降低，重建误差增大。当输入图像SNR<14时，重建误差超过0.07。我们采用了信号增强网络(SEN)来提前提高图像的信噪比(图1c)。为了使网络学习噪声的统计模式，并有效地从LSNR图像中提取结构信息，我们采集了不同光照强度下固定细胞的低信噪比(LSNR)和高信噪比(HSNR)图像对，这些图像来自不同的显微镜，包括表观荧光、TIRF、高倾斜和层压光学片(HILO)和共聚焦显微镜。
对比
sfsrm 网络 无论在重建细节上还是衡量指标上均优于anna-palm
实验验证
- 通过观察生物细胞囊泡转运过程证明重建的细节真实可信
- 更换系统和样本，验证自身模型的鲁棒性
网络结构
SRN:
Generator：三通道ESRGAN : 灰度图， 灰度图+Edge ，edge 生成SR 图像
vgg 特征提取 计算 感知损失
u-net discriminator 计算 对抗损失
fft 计算 频率损失
ms --ssim
SEN：
只使用LR 做完单通道输入
Training with MS-SSIM-L1 loss for approximately 100,000 minibatch iterations at a 3×10−4 learning rate
Embedded Image
Training with MS-SSIM-L1 loss and perceptual loss for 20,000 to 50,000 minibatch iterations at a 1×10−4 learning rate.
Embedded Image
In our experiments, we empirically set δ, β, and γ to δ = 0.1, β = 0.001, and γ = 0.01, respectively.