3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis
为了最大程度地减少 PET 扫描固有的示踪剂辐射引起的潜在健康风险，从低剂量合成高质量的 PET 图像以减少辐射暴露是非常有意义的。本文提出了一种基于 3D 自动上下文的局部自适应方法多模态生成对抗网络模型（LA-GANs）可从低剂量合成高质量的 FDG PET 图像，并附带提供解剖信息的 MRI 图像。我们的工作有四个方面。首先，与传统方法不同，传统方法将图像模态作为输入通道进行处理，并应用相同的内核对整个图像进行卷积，因此，不同模态的贡献可能会在不同的图像位置发生变化，因此对于整个图像而言，统一内核并不是最佳的。为了解决这个问题，我们提出了一种多模态融合的局部自适应策略。其次，我们利用 1×1×1 内核来学习这种局部适应融合，从而使我们的磁盘磁盘产生的附加参数数量最少。第三，在 3D 条件 GANs 模型中与 PET 图像合成一起学习了建议的局部适应融合机制，该机制通过使用大尺寸图像斑块和分层特征来生成高质量的 PET 图像。第四，我们将自动上下文策略应用于我们的方案，并提出了一种自动上下文 LA-GAN 模型，以进一步完善合成图像的质量。
综述
作为一种核成像技术，正电子发射断层扫描（PET）可以实现人体代谢过程的可视化，并已越来越多地用于疾病诊断和干预的临床。通过检测从注入人体的放射性示踪剂间接发射的伽玛射线对，PET 系统通常使用制造商提供的软件对发射源进行三角测量，从而重建人体中示踪剂浓度的 3D PET 图像。通常，需要使用全剂量示踪剂才能获得诊断质量的 PET 图像。但是，放射性暴露不可避免地引起对潜在健康危害的担忧。对于经历多次 PET 扫描作为治疗一部分的患者，风险是累积的。为了解决辐射问题，一些研究人员已尝试在PET扫描过程中减少示踪剂的剂量（例如，使用全剂量的一半）。由于 PET 成像是一个量子积累过程，因此降低剂量不可避免地会涉及不必要的噪声和伪影，从而在一定程度上降低 PET 图像的质量。低剂量 FDG PET（L-PET）图像涉及更多的噪音，更少的功能细节。这种 L-PET 图像可能无法满足诊断要求。因此，从低剂量的图像合成高质量的 F-PET 图像以减少放射线照射并同时保持图像质量非常重要。
现代PET扫描通常会伴随其他方式，例如计算机断层扫描（CT）和磁共振图像（MRI）。通过结合功能和形态学信息，PET / CT 和 PET / MRI 系统可以提高各种恶性肿瘤的诊断准确性。 先前的研究还表明，多模态数据为医学图像质量增强带来了好处。 在本文中，为了将解剖学信息整合到PET合成中，我们建议从 L-PET 图像和随附的 MRI（包括 T1 加权 MRI（T1-MRI）和弥散张量图像（DTI））合成高质量的 F-PET 图像 。
F-PET图像合成已经有几篇著作。（这里作者列举了基于传统方法的几个例子）尽管这些方法在低剂量下表现出良好的性能，可增强PET图像质量，但仍有两个主要缺点限制了潜在的临床可用性。第一个是它们都基于小块，而每个体素的最终估计是通过平均重叠的块来确定的。这种策略不可避免地会导致图像过于平滑，而缺少典型 F-PET 图像的纹理，从而限制了合成图像中小结构的定量。另一个缺点是这些基于体素的估计方法通常需要在线解决大量优化问题，因此在对新主题进行测试时非常耗时。
方法
在本文中，受 GAN 吸引人的成功的启发，同时也为了解决当前多通道深度架构用于模式融合的局限性，我们提出了一种基于自动上下文的“位置自适应”多模式 GAN（LA-GAN）模型从 L-PET 和随附的多峰 MRI 图像（包括 T1-MRI 和 DTI）合成 F-PET 图像。请注意，常见的 DTI 度量包括分数各向异性（FA），平均扩散率（MD），径向扩散率（RD）等。这里，我们从扩散图像计算 FA 和 MD 图像以进行 F-PET 图像合成。
我们提出的 LA-GANs模 型如图所示，它由三个部分组成：1）局部自适应融合网络，2）生成器网络，和 3）鉴别器网络。具体地，局部融合网络以 L-PET，T1-MRI，FA-DTI 和 MD-DTI 图像为输入，并通过在不同图像位置学习不同的卷积核来生成融合图像。之后，训练生成器网络以从融合图像生成合成的 F-PET，而鉴别器网络随后将一对图像作为输入，即 L-PET 和真实或合成的 F-PET，目的是区分实数对和合成对。如果辨别器能够轻松地区分它们，则意味着合成的 PET 图像与真实图像不太相似，并且还应进一步改善融合网络和生成器网络以产生更逼真的合成。否则，应增强鉴别器。因此，这三个网络与鉴别器同时进行训练，试图正确地区分真实数据和合成数据，而融合网络和生成器网络则试图产生可欺骗鉴别器的逼真的图像。
结论
本文用 GAN 由低剂量 PET 生成高剂量 PET，主要创新点在于对 3D 图像局部进行分别卷积。
