Blood Vessel Geometry Synthesis using Generative Adversarial Networks
GAN用于血管图像生成
from MIDL2018
Abstract
生成血管图像可用于扩充训练数据，本文则借助GAN合成血管图像用于冠状动脉心脏CT血管造影图的扩充。网络框架为WGAN，其中生成网络负责合成血管集合图像，判别网络鉴定输入的图像是真实样本还是合成样本。 不管真实样本还是合成样本都以中心血管为轴参数化为1D信号；根据提供的属性信息生成网络可以合成特定的血管。 整个网络使用的数据集基于扫描得到的4412张真实的冠状动脉心脏CT造影图CCTA,本文还对生成图和真实图之间的相似性进行了详细的定性分析，从而得出结论:WGAN很适合用于血管几何图像的生成。
Section I Introduction
对血管图像进行定量分析在医学图像分析领域有着诸多应用，比如对冠状动脉血管分析是临床检测动脉粥样硬化、动脉下载或肿块的重要手段，因此对于CCTA图像的自动分析一直是医学图像分析中的一个热点，但一直受限于有限的训练样本。
常规增加训练数据的技术手段就是数据增强，通过对已有的训练数据进行各种变换达到增加训练样本数量的目的；但是只是基于已有的训练数据进行变换；另一种数据增强手段是合成完全信的数据，比如根据冠状动脉管腔的几何模型以及相应的CCTA图像来完成冠状动脉狭窄的检测。为了合成新的血管图像，需要根据CT图像的一系列标准将血管结构进一步转化为相应的CT图像。研究显示虽然基于血管的几何模型（model-based)进行生成一定程度可以控制生成的血管类型，但无法捕捉到真实冠状动脉的结构多样性。
因此本文不再使用model-based的合成方法，而是基于数据驱动（data-driven)的方法，通过学习真实冠状动脉的特征分布来生成更加逼真的图像。而GAN已经成功应用于CT图像去噪、分割、跨模态合成等任务中，因此本文进一步探索GAN在视网膜图像合成中的应用。
本文聚焦于如何生成更佳逼真的3D血管形状，而volumetricGAN之前已被用于三维物体（如椅子和汽车）的网格化或体素化；但这种方法不能保证生成的物体的连续性，可能会有空洞或分块效应；这样就不适合血管图像的合成。
因此本文为了克服上述难题，把3D血管图像参数化为一系列1D参数集，从而不用合成3D图像，而是用一个4通道的1D序列表征中心血管所在的轴；此外，与前任研究多使用RNN做生成网络或判别网络不同，本文使用具有更大感受野的CNN作为基础的网络框架。
因此，本文的主要工作包括
:
（1）提出一种更高效的血管参数化的方法；
（2）训练GAN用于从隐空间到冠状动脉血管的映射；
（3）对合成的血管图像以及隐空间进行了详尽的分析。
Section II Data
Part A Training Data
本文所使用的训练数据来自于50例临床采集的真实冠状动脉扫描图像，共4412张，每张图像的中心线都基于手动标注的seed进行提取，由于一张冠状动脉血管图中可能包含多个种子，因此提取的图像之间可能有相互重叠的部分。
Part B Blood Vessel Parametrization
虽然血管图像是3D的，本文将其参数化为1D序列，每一个点的x,y,z坐标会对应到以血管半径的一个空间中，这样就大大降低了合成任务的复杂性。本文采用常规的方法，第一点v1总是位于冠状动脉的入口处。
Section III Methods
Part A GAN
Fig1展示了网络的整体框架，包括生成网络G，负责将随机噪声z转换至隐空间的1D参数化表示（4 channel）以及判别网络D，对于真实血管给出高评分，对于合成血管打低分。除此之外，两个网络还接受额外的条件向量Y的输入。
回顾一下GAN 的损失函数：
本文使用的是GAN的变体-WGAN，通过计算真实样本与合成样本的Wasserstein 距离作为二者相似性的度量。这样可以增强根据判别网络计算得到的梯度传递给生成网络，用以修正生成网络。因此，损失函数表述为：
Part B Conditional Training
进行随机生成图像时缺少对血管外形、特点上的控制；因为某些情况下我们更倾向于合成具有某些特点的血管图像，比如只合成左冠状动脉或右冠状动脉，或者特定长度的血管。因此我们将这些约束条件用标注向量（attribute vector)描述送给网络，从而有条件的生成血管图像。网络训练用的损失函数为：
Part C Network Architectures
网络结构包含生成网络G和判别网络D，具体结构参见Fig3.
生成网络每一层使用转置卷积从而增加每层的长度，输入是m个通道的单位长度序列，每层64个通道，最后一层的四个通道分别代表x,y,z,r；判别网络D则是生成网络的镜像版，负责将4通道的输入序列压缩至一个标量。此外，两个网络还可以选择是否接受约束信息Y。
因此可以看出，x,y,z不是直接得到的，而是通过生成网络映射得到的。以及每一层激活使用的是Leaky ReLU.
Section IV Experiments and Results
为了测试GAN的生成能力，血管图像的采样采用了3中不同的分辨率，分别是0.1mm，0.25mm和1.0mm。比如：
1.0mm时layer=7，序列长度为255；
0.25mm时layer = 9,length= 1023;
0.1mm时layer=11,length=4095.
Fig4展示了部分采样的结果以及与其最相近的真实血管图像，我们发现二者仍有一定差异，这就说明合成的样本其分布并不完全与真实数据的分布吻合，然后继续优化生成网络。
具体如何评价相似程度，Fig5给出了比较的依据，分别是合成的4412张血管图像的length,volume和tortuosity。
Part A Latent Space
生成网络从m维的特征分布Pz中采样得到血管的几何形状，因此隐空间pz中不同位置的点就代表着不同的血管结构。为了探究隐空间的具体内容，通过在两个点之间进行线性插值的方式得到一系列合成样本，可以看到合成的都是右侧冠状动脉，因此隐空间中不同的点可能代表着不同长度和曲率的血管。
为了进一步测试隐空间中是否包含生成新样本的结构信息，我们还测试了来自50名患者中45名患者的血管图像，然后寻找剩下5名患者在隐空间中最相近的点，以及手动调控探究不同区域如何对应于左、右的冠状动脉。由于训练过程中没有标签信息的参与，因此这完全是无监督学习获得的，因此可以用于自动标记血管类别。
Part B Conditioning
前一小节展示了隐空间中确实包含了血管的结构信息，但却无法人为调控生成具有一定特性的血管图像。因此本文通过输入额外的attribute vector来施加条件信息。比如Fig8展示了生成特定长度血管的结果，每一行均对应着隐空间中固定的latent vector但使用不同的attribute vector，可以看到较短长度的血管（50-150mm)大多来自于左侧或右侧冠状动脉树，而较长的血管（250mm)大多来源于右侧。
Section V Discussion and Conclusion
本文将生成对抗网络用于血管图像的生成，通过生成网络学习血管结构在低维隐空间的表示从而通过采样生成新的血管图像达到扩充训练数据的效果。 通过实验本文发现生成的图像与真实的血管图像有相同的特点，说明这种data-driven的网络有效捕获了数据集中图像的结构特征。未来本文还将进一步探究是否可以将这一网络应用到其他合成任务中。因为这种方式更加可控，可以通过施加attribute vector控制生成具有一定特征的血管图像，也可用于无监督标注图像。 本文的另一个亮点还在于将3D的血管信息参数化为1D序列，从而大大简化了合成任务的复杂性。