摘要：
我们建议采用图像超分辨率来加速扫描电子显微镜（SEM）的采集速度。 该过程可以通过以较低分辨率收集图像，然后使用图像超分辨率算法对收集的图像进行放大来完成。 然而，由于物理因素的影响，不同分辨率的SEM图像不仅在尺度上发生变化，而且在噪声水平和物理畸变方面也发生了变化。因此，很难获得训练数据集。 为了解决这个问题，我们设计了一个生成对抗网络（GAN）来拟合SEM图像的噪声，然后从高分辨率SEM数据生成逼真的训练样本。 最后，完全卷积网络被设计为同时执行图像超分辨率和图像去噪。 这条管道在我们的SEM图像数据集上运行良好。
1.引言
最近需要[1,2,24]重建动物 - 脑 - 组织的神经连接需要有效的方法来收集组织切片的大量显微图像。收集显微图像的有效方法[3]首先将生物样本切割成数千个超薄切片，厚度约为30nm到70nm，然后将这些切片放在几个硅晶片上，并使用几个SEM平行拍摄这些切片的图像。我们的实验室也以这种方式收集显微图像。这种方法确实加速了数据收集过程，但速度仍然没有我们预期的那么快。例如，在超薄切片的典型高分辨率图像中，每个像素对应于2nm的物理尺寸，并且收集每个像素需要2μs。因此，尺寸为1mm 2的单个组织切片需要2.5×10 11个像素来表示，其将花费单个SEM至少138.8h来收集。这意味着拍摄一万个超薄片的图像需要一个SEM连续工作至少6.6年！使用6个并行工作的SEM仍需要一年多的时间。毫无疑问，进一步加速收集过程具有重要意义，并且由于昂贵的成本而受阻，仅通过增加显微镜的数量来提高收集速度是不可行的。这项工作探索了通过使用图像超分辨率和图像去噪技术同时加速每个显微镜收集的方法。
单图像超分辨率（SISR）尝试提高图像分辨率，并尽可能恢复详细信息。 图像超分辨率的基本假设是高分辨率图像包含许多冗余信息，因此可以从低分辨率图像中恢复。 根据[4]，SISR的线性退化模型由下式表示：
z = D s Hx（1）
其中z是输入的低分辨率（LR）图像，x是未知的高分辨率（HR）图像，线性运算H使图像模糊，并且操作D s 通过因子s减小图像比例。 最近的许多工作试图学习从低分辨率图像到具有额外数据集的高分辨率图像的映射，以及通常使用深度神经网络参数化的最先进的映射函数。
可以使用图像超分辨率和图像去噪技术来加速SEM图像的采集过程。 生物组织图像的自动分析要求图像包含足够的像素用于每个细胞器，然而，如前所述，高分辨率SEM图像的收集过程实际上是耗时的。 在实践中，加速收集过程的有效方法是以相对较低的分辨率拍摄图像，然后通过图像超分辨率算法提高图像分辨率。 降低一半的成像分辨率可以加速四倍的成像速度。 为了平衡收集速度和最终图像质量之间的冲突，这项工作仅考虑以2倍的比例升级收集的图像。
我们的应用程序中最困难的问题是获取训练数据集。传统的图像超分辨率问题不考虑随机噪声的干扰，而SEM图像通常是众所周知的噪声，这意味着我们不能只使用预训练的图像 - 超分辨率模型来完成我们的工作。此外，传统的SISR算法通常对HR图像进行下采样以创建训练样本，但是使用差异参数收集的SEM图像将具有不同的噪声水平，这意味着我们不能以类似的方式创建训练数据集。可能的解决方案是在具有不同分辨率的相同位置拍摄图像以创建训练样本。然而，如在实验中观察到的，电子束将在收集过程中加热组织切片，并且导致生物样品的一些物理变形。结果，即使在相同参数的相同位置收集，两个图像在像素级别上也会有很大差异。这种变化不会影响生物学意义，但却真正阻碍了图像 - 超分辨率模型的训练。
考虑到SEM图像超分辨率问题，噪声通常来自不规则散射电子，因此可以认为噪声正在“添加”到真实图像中。然后我们可以将退化模型表示为：
z = D s H（x + N）（2）
其中z是收集的低分辨率（LR）图像; x是未知的高分辨率（HR）图像，我们想要从收集的LR图像z中恢复。线性运算H和运算D将劣化过程表示为等式（1）。 N是增加的噪声。这个表述可以进一步写成：
z = D s Hx + G（3）
其中G = D s HN。按照这个公式，我们可以为下采样的HR图像添加一些噪声，以创建我们的训练图像对。该方法可以很容易地应用于桥接嘈杂图像和干净图像之间的间隙，同时，低分辨率图像和高分辨率图像之间的失真不再是问题。在这项工作中，我们训练了生成对抗网络[6]以适应低分辨率SEM图像的噪声，然后使用生成器将学习的噪声添加到下采样的高分辨率图像块。这种方法可以帮助我们构建合适的我们的训练和验证数据集。
总的来说，这项工作的贡献主要有三个方面：
1.已经提出了一种加速大规模生物组织成像的SEM图像采集的管道。
2. GAN旨在为SEM图像的超分辨率和去噪问题生成高质量的训练样本。
3.我们训练了一个端到端的完全卷积网络来解决SEM图像超分辨率问题。
2相关工作
2.1基于实例的图像超分辨率
基于实例的图像超分辨率方法学习从LR图像块到HR图像块的映射。传统上，如[9]中所总结的，基于实例的SISR方法采用手工设计的特征，手工设计的高档，手工设计的非线性映射，以从输入LR图像重建HR图像。 SRCNN [10]将特征提取，非线性映射和重建过程合并为单个模型，训练一个简单的三层完全卷积网络，同时执行特征提取器，非线性映射函数和HR图像重建器。在他们的工作中，他们需要首先将LR图像升级到所需的比例，然后使用三层模型恢复详细信息。后来的工作，如VDSR [11]构建了一个更深层次的卷积网络，以学习更好的映射。最近的工作尝试将高级过程合并到超分辨率模型中，并训练端到端模型以解决SISR问题。 EEDS [9]采用转置卷积层来增加图像尺度，而ESPCN [12]使用自行设计的子像素卷积层来填补不同尺度之间的间隙。在进一步的发展中，SRGAN [13]用生成对抗网络解决SISR问题，使用鉴别器推动发生器学习自然图像流形，这可以产生更生动的HR图像。
2.2图像去噪
图像去噪是一种低级图像处理问题，在许多计算机视觉应用中起着重要作用。 BM3D [14]利用3D分组进行非局部图像建模，然后通过3D阵列的变换域收缩进行协同过滤。 后来，Burger等人。 [5]采用简单的多层感知器来学习从噪声图像到无噪声图像的映射。 最近，Chang等人。 [15]发现当数据足够时，单个网络可以分别执行图像去噪，图像超分辨率和许多其他任务等多任务，这表明数据驱动方法可以很好地解决许多图像恢复问题。
2.3生成式对抗网络
生成性对抗网络（GAN）[6]是一种训练生成模型的技术，可以通过双人对抗游戏来近似图像分布，并且已被证明可以生成高质量的图像[7,16-18]。 在该框架中，生成器（G）尝试生成逼真的图像以欺骗鉴别器（D），而D学习区分真实图像和生成的图像。 实际上，这个框架中的D扮演着损失函数的角色，并告诉G如何生成更逼真的图片。 GAN的培训过程可以表述如下：
其中p data（x）是自然图像的分布，z是一些随机噪声。 通常，生成器将固定尺寸随机噪声作为输入，然后投影到逼真的图像。
GAN最重要的特性之一是这种深度生成模型不需要明确的公式。 因此，可以使用GAN来估计SEM图像的噪声分布，然后为我们的模型再现逼真的训练样本。
3 样品模拟和SEM图像超分辨率
3.1使用GAN创建高质量的培训样本
我们设计了生成对抗网络（GAN）来估计SEM图像的噪声分布，然后使用生成器将学习的噪声添加到下采样的HR图像块并生成LR补丁。 我们在后面的讨论中将此模型称为Noise-GAN。 可以将随机噪声添加到下采样的HR图像块以产生伪LR图像块，但是难以精确地估计噪声的分布。 因此，这项工作探索适应GAN的噪声分布。
在实践中，我们的工作首先对HR图像补丁进行下采样，然后将这些补丁提供给生成器以添加生成的噪声，这使得这些补丁看起来很真实。在训练过程中，鉴别器试图区分真正的LR补丁和伪LR补丁，而生成器试图欺骗鉴别器。在30个epoch的训练之后，发生器足以产生逼真的LR补丁，甚至人类也无法区分真正的LR补丁和伪LR补丁之间的区别。
Noise-GAN的结构遵循DCGAN [7]和W-GAN [8]的原理。该生成器将128-d随机噪声投影到64×64的噪声图，这是附加的输入图像补丁，最终生成伪LR补丁。生成的伪LR补丁和真正收集的LR补丁然后用于训练鉴别器。需要注意的一点是，在每个训练批次中，伪LR图像补丁和真正的LR图像补丁都收集在同一个地方，因此它们具有相同的语义信息。此外，这些贴片需要在馈入鉴别器之前减去它们的平均值，以避免亮度干扰。使用这些方法，假补丁和真实补丁之间的唯一区别是噪声级别，并且将阻止鉴别器将这些补丁与其他信息分类。这个过程将确保GAN学会只适应噪声。在生成器中使用tanh激活而不是relu激活，并且我们使用学习率为0.00001的RMSProp优化器来训练该模型。网络如图1所示。
图.1 Noise-GAN结构：（a）发生器，它将生成的噪声添加到HR图像补丁; （b）鉴别者，正在训练以区分真正的LR图像补丁和生成的LR补丁。
3.2端到端SEM图像超分辨率
我们设计了一个深度网络来验证最终结果。 该网络可能无法像其他最先进的图像超分辨率方法一样工作，但它易于构建，易于训练，并且具有足够的容量来学习从噪声LR补丁到HR补丁的映射。 我们将此网络称为SESR，这意味着SEM图像超分辨率。 在91图像数据集上进行13000次交互训练后，该网络可以很容易地在Set5上获得36.038dB的平均PSNR。
图3（c）中描述的网络架构受初始模型[19-21]，ResNet [22]和EEDS [9]的启发。该模型具有捕获多尺度信息的结构，并使用跳过连接将低级信息传输到上层。如图3（a）所示的块1具有四个子分支，并且每个分支具有从1到7的不同接收域以捕获不同比例的特征。然后，这些提取的特征由卷积层进行合并和处理。 Block2以类似的方式工作，大卷积内核被分解为小的非对称卷积以提高计算效率。 Block1和Block2可以看作是组合模型，并且用差异比例提取的特征被组合在一起以进行进一步预测。使用5×5转置卷积层来增加图像比例。此外，如[21,22]中所讨论的，此模型中使用的跳过连接也可以确保网络融合更快。该模型中的res-block与ResNet [22]相同。
在训练过程中，我们使用均方误差作为目标函数，并使用Adam [23]优化器来训练这个网络，学习率为0.0003.10千的交互足以训练这个网络收敛。 网络结构如图3所示。
图3 SESR的结构。 （a）和（b）中的四个子分支用于捕获不同比例的特征，并且这些块中的跳过连接用于在前向传播中将低频信息传递到上层，并加速反向传播中的训练。
与SRCNN和VDSR等两阶段方法相比，该模型可以提出端到端的图像，并与EEDS和ESPCN等其他单阶段方法进行比较，该方法重量轻。 参数的存储大小小于1MB。
4.实验与结果
在该实验中使用树组训练数据训练SESR模型以验证所生成的训练集的效果。 据我们所知，以前的工作没有尝试处理SEM图像超分辨率问题，因此我们将结果与其他两种可能的方法进行比较。
4.1.SEM图像数据集
本工作中使用的SEM图像是从我们实验室的Zeiss Super55电子显微镜收集的。 我们在相同的地方拍摄图像，像素大小从1到8nm变化，相应的图像大小从8192×8192变为1024×1024。由于这些图像的大尺寸，每个尺寸的8张图像足以进行训练，验证 和测试。 在实验中，我们裁剪3个图像用于训练，1个图像用于验证，4个图像用于测试。
4.2.训练和测试
SESR模型已经过三组训练数据的训练，以说明生成的训练数据在我们的应用中的重要性。 第一组是前面提到的91个图像，我们将该数据集表示为“-NT”。 第二个数据集是真实收集的SEM数据集，我们将该数据集表示为“-SEM”。 将像素尺寸为1nm的图像下采样到对应的比例以充当基础事实，然后对地面实况图像进行下采样以生成LR图像块作为输入。 第三个数据集也是SEM数据集，但与第二个数据集的差异在于该数据集使用生成的LR图像补丁作为输入。 我们使用“-GAN”来表示该数据集。
我们使用真实收集的LR补丁作为输入来测试这些模型。 重要的是要注意，由于收集过程中的失真和变形，输出结果需要与基本事实一起进行定量测量。 为了避免由配准算法产生的差异，对于每个输入图像，每个方法的输出结果通过相同的变换登记到地面实况。 然后，峰值信噪比（PSNR）用于测量最终结果。
表1.测试集的平均结果。 由于在注册后测量结果，最终PSNR比许多其他应用程序略低。
我们将最终结果与其他两种可能的方法进行比较。 一种是先用BM3D去除噪声，然后用Bicubic算法放大图像尺寸，另一种方法是先用Bicubic算法放大图像，然后用BM3D去除噪声。 因为我们不能精确地知道噪声模式，所以我们估计BM3D算法的σ= 25。 这两种方法在我们的数据集中说明了不同的结果。 我们将这些结果的平均PSNR说明为表1。
一组结果如图4所示。 从图4（f），（i）和（k），我们可以看到用自然图像训练的方法受到噪声的干扰。 从图4（d）可以看出，使用BM3D去除双三次后的噪声破坏了一些详细的结构。 从图4（g）和（h）可以看出，首先用BM3D进行去噪可以很好地抑制噪声，但最终结果却模糊不清。 并且图4（d）和（i）之间的类似外观反过来说明生成的训练数据集很重要。 总之，使用生成的训练集训练的SESR模型比其他方法表现更好，最终结果看起来比其他方法更相似。 由BM3D + Bicubic预测的图像虽然在测试集上具有高PSNR，但模糊了图像的详细结构，这在实际应用中是不期望的。 虽然我们模型的结果看起来有点模糊，但这条管道确实说明了一种真正解决我们问题的有希望的方法。
5.结论
这项工作提出了一个处理SEM图像超分辨率问题的管道。 SEM图像超分辨率算法具有加快SEM收集速度的潜力，最终突破了获得高容量生物组织图像序列的瓶颈。 然而，由于SEM图像中的噪声不容忽视，SEM图像超分辨率问题不能作为普通SISR问题的方法。 这个应用程序中最困难的部分是获得合适的训练数据来训练我们的模型。 这项工作首先分析了SEM图像和普通图像之间的差异，然后设计了一个GAN，以适应SEM图像中的噪声分布。 之后，生成器可用于生成最终训练过程的训练样本。 与其他可能的解决方案相比，这种训练样本生成方法表现更好，并且仍有很大的改进潜力。