目录
2018通过解剖标志检测提取腹部平面，并将其与胎儿器官模型对齐。
摘要
讨论了典型胎儿筛查计划的一部分，即定位腹部横截面，并测量相应的腹围。
为此，设计了一个全自动的管道，从基于随机森林的解剖地标检测开始。
一个特征训练的胎儿躯干形状模型，包括内部器官，腹部横截面平面编码到模型中，然后使用地标定位转换到患者空间。
在一个自由形式的变形步骤中，模型针对图像进行个性化处理，使用由卷积神经网络生成的躯干概率映射作为额外的特征图像。经过适应后，直接得到该平面上的腹平面和腹躯干轮廓。这允许测量腹围以及绘制平面以进行视觉评估。该方法已经在126个样本上进行了训练，并在42个腹部三维超声数据集上进行了评估。在评价集中，平均平面偏移误差为5.8 mm，平均相对周长误差为4.9 %。
图1：处理管道的概述。“脊柱检测”、“地标检测”、“躯干概率图”和“器官模型适应”算法自动生成胎儿躯干和主要器官的三维分割，从中估计AC平面的位置、方向和轮廓。
图2.左：临床专家的腹平面和腹围（红色）。在这个平面上的重要结构是胃静脉和脐内静脉。右图：自动程序的平面和轮廓结果。
目标
首先，数据导航可以通过自动识别胎儿解剖和显示与解剖相关的视图来方便。
其次，解剖结构的自动轮廓可以实现自动生物测量。
最后，生物特征测量和其他图像处理结果可用于支持诊断。
胎儿筛查包括多种胎儿生长措施，但也包括胎儿异常的检测。大部分检查从18-22周胎龄（GA）开始，并有特定推荐的标准测量。通常，一组解剖定义的胎儿头部、胸部和腹部的平面被获得和检查，其中一个合适的二维平面的选择在观察者之间有很大的差异。
腹部，特别是标准的腹部平面（ac平面）的妊娠中期筛查。腹围（AC）是估计胎儿大小和生长的标准测量方法，其中中心和个体之间的表现有显著差异。
目标：
从3D US扫描中
i)自动提取AC平面
ii)腹围的估计
对于AC平面，我们遵循第21个交错项目中给出的定义。1根据这个定义，需要给予胃的存在以及脐静脉的一个适当的部分，比较图2所示。
基于随机森林的解剖地标定位，
基于卷积神经网络的胎儿胸概率图
基于模型的胎儿胸和内器官分割。
方法
所使用的处理管道的概述如图1所示，一个典型的结果如图2所示。一些信息来源指导胎儿器官模型在其个性化到给定的3D US图像。它提供了对AC平面位置、平面方向和AC轮廓的估计。该管道是完全自动化的。
胎儿特征点检测
估计AC平面和AC测量的第一步是检测胎儿器官。它们被用作标志来定位胎儿器官模型。
采用基于随机森林方法的学习算法进行器官检测。5-7在这里，用于训练和测试的数据集由胎儿的方向、位置和大小是高度可变的体积组成，这使得当训练数据库的大小有限时，器官检测变得困难。为了消除这种大小和位置变化，让学习算法关注解剖变异，处理后的体积自动在任意公共坐标系中对齐，该坐标系相对于胎儿脊柱和腹部为中心和定向，如图3所示。
图3.基于胎儿的坐标系的定义
体积对齐
用于体积对齐的坐标系的定义如下。
来自脊柱检测的原点和z轴定义
由于脊柱是一个独特的和具有回声的细长结构，它是一个很好的解剖学排列参考。
脊柱检测是通过结合两种方法来完成的。
首先，应用一个检测细长结构的形态滤波器。
它得到了一个相当精确的检测图，但也产生了许多假阳性（图4中的红色覆盖层（左））。
一个使用卷积神经网络的椎体检测器被独立地应用于与体积的原始z轴垂直提取的二维切片上。
这种切片产生了大量具有相似特征的数据，这适用于深度学习方法。
网络输出是一个降采样的概率图，其值更接近于脊柱可能所在的位置。通过将所有获得的二维概率图叠加为一个体积，建立了一个三维椎体探测器。该输出的热图比形态学滤波器的输出更粗糙，但更稳定地位于椎体周围（图4（中心））。
最后，通过选择椎体检测器与形态滤波响应的交集，对神经网络输出进行细化，并拒绝脊柱外的滤波响应，从而获得更鲁棒的脊柱二进制掩模（图4（右））。
基于胎儿的坐标系的起源被定义为最接近其质心的二进制掩模点。
然后使用脊柱二进制掩模的末端来定义z轴，一个与脊柱相切的垂直轴（见图3）。
图4脊柱检测。左：形态学滤波，中心： DL方法，有3个连续的卷积层与ReLU激活，两个密集等效的块和最后一个1×1卷积，右：两种方法的组合。
x轴定义从腹部检测
一组平面正交提取到检测的脊柱。腹部通过汉克尔变换在这些平面上被检测到，汉克尔变换是霍夫变换的一种变体，用来检测圆形形状。检测到的圆的堆栈是对腹部面罩的估计，它们的中心被用来估计胎儿的矢状面，从这里定义x轴。
Head / toe orientation
它是通过一个类似于AlexNet的使用卷积神经网络的分类器在矢状面上确定的。8
缩放
缩放比例采用基于估计遗传算法的比例因子来减小数据库中的大小变异性。
器官检测与随机森林
一旦这些体积在基于胎儿的坐标系中对齐，就会使用一种随机森林学习算法来检测胎儿器官的位置。原理是学习一个体积中的给定点，与目标器官标志的相对方向。在下面的描述中，这种相对方向被称为投票向量。
训练：该算法是由专家提供的手动地标注释组成的数据集进行训练的。
它计算了一些基于图像的特征，这些特征大多来自于局部梯度，如局部归一化的梯度和到梯度的距离。
为森林树的所有节点定义了一个分割准则。
它的目的是找到训练点的两个子集，使两个子集的熵之和最小，熵被定义为投票向量对每个地标的方差。
为了得到分割准则，在每个节点上测试大量的随机特征，并选择提供最优子集分离和相应的分割阈值的特征并存储在节点中。
为所有的叶子定义了多个停止标准：
(i)达到了一个给定的树的深度
(ii)该子集内的方差低于一个给定的阈值
(iii)该子集太小。
投票向量的平均值存储在每个叶子中。这将是在这个叶子中分类的每个点的投票向量。
测试：这一步描述了实际的地标定位过程，它被限制在位于腹部内的体积区域，从体积对齐过程中获得的腹部检测结果中估计。
对于给定的输入体积，选择一组随机测试点，并使用选定的分裂条件在整个树中传播，直到它们到达一个叶子。
然后，每个测试点都提供了一个投票向量。
所有的投票向量都被转换为里程碑式的预测。
为了提供一个单一的预测，所有的预测都通过高斯估计进行组合，从而得到每个地标的定位概率图。
所获得的心脏、胃、脐静脉和膀胱的标志性位置，然后被用于定位胎儿器官模型。
胎儿躯干概率图
为了增加可变形分割的捕获范围，减少图像中不相关边缘（如胎盘）的损害影响，在基于模型的分割方法中加入了卷积神经网络的输出。
该网络被训练来估计每个体素对应于胎儿躯干或背景（即胎儿头部、四肢或母体组织）的概率。
为此，本文采用了Fovea全卷积网络（FovFCN）。9这种特殊的架构允许网络对图像进行“全局”视图，而不会显著增加资源需求，就像普通的全卷积网络一次性处理完整图像那样。
这是通过同时考虑不同大小和分辨率水平的等距中心补丁来实现的。与中提出的多分辨率方法相比，10我们的网络连续集成了来自任意网络的信息
（体素是体积元素（Volume Pixel），是数字数据于三维空间分割上的最小单位，体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位——像素）
图5.三层的FovFCN示意图。为了分割一个给定大小的补丁（这里是： 74×74×74体素，红框），从输入图像中裁剪出三个不同大小的输入补丁。然后，较大的“上下文”补丁被重新调整到较低的分辨率。对于每个级别，使用交叉熵损失函数提取特征（具有ReLU激活的卷积层）。将重新调整级别的特征图向上采样到原始分辨率，然后添加以集成所有级别的特征。
解决方案的数量，而不是只有两个。该方法如图5所示。首先，在每个分辨率级别上提取特征。然后，使用平均解池法对粗分辨率的特征图进行上采样，并与更精细的层次相加连接。该网络使用输出层和已知标签之间的交叉熵作为损失函数进行训练
胎儿器官模型
虽然只有胃静脉和脐静脉与ac平面的定义直接相关，但它也对定位超声医生用于定位的其他突出结构是有用的。因此，使用了5种成分（胎儿躯干、心脏、胃、脐静脉和膀胱）的三角表面网，它们相互连接来模拟它们之间的近似解剖关系。互联模型的说明见图1。基于模型的组合模型的分割依赖于训练好的三角形特定特征，这些特征在图像中搜索目标点，主要是具有附加灰度值属性滤波器的梯度。对于躯干，特征函数也被定义在第2.2节中的躯干概率映射上。将模型变形，使距离最小到最大特征响应。这是通过优化一个外部（=特征）和一个内部（=形状）的能量公式来实现的。11外能和内能之间的加权决定了允许从结构的平均形状导出的大小。对于这个特定的模型，有一个3步的自适应程序：
1.该模型是通过帮助2.1中的地标来初始化的。然后，躯干三角形仅根据2.2开始的概率映射找到目标点，并相应地移动。所有其他的结构都在连接器的引导下被动地跟随。这导致了整个5分量模型的近似定位，并能良好地适应胎儿的外体轮廓（=躯干）。
2.躯干网格被冻结在原地，其他四个结构在连接器的引导下，向超声图像中的目标点发生刚性变形。这导致了四个内脏器官的更好的位置。
3.所有5个结构都是在超声图像（图像梯度）中寻找有效的目标点，以接近当前的位置。变形非常灵活，但通过连接器由邻近的结构引导。这导致了对超声解剖结构的精确适应，准确性取决于结构的可见性和步骤1和步骤2中定位的正确性。有关基于模型的分割的更多细节，请参见。9, 11
基于适应的三角表面网，AC平面在间生长-21项目中确定，即包含胃和脐静脉的适当部分。
结果
本文的实验是基于飞利浦EPIQ 7超声系统获得的166-2 3D换能器。成像的视野覆盖了胎儿的腹部和部分胸部。通常，膀胱、胃、（内）脐静脉和心脏都包含在图像中。胎龄范围为18-32周。根据胎龄和胎儿的大小，图像矩阵（x、y、z）包含（256···512）×（263···510）×（143···256）体素，体素大小为（0.1···0.5）×（0.06···0.4）×（0.18···0.8）mm3。将图像分为126个训练（即模型生成、随机森林地标定位器训练和神经网络训练）和42个测试用例，目的是获得相同的年龄分布。对于评估，可以获得来自一组临床专家的地面真实注释。这些注释包括ac平面和腹围轮廓的位置和方向。
标志性检测
定量结果显示，检测到的脊柱中心与手工标注的脊柱之间的平均距离为12 mm [±6.3]，其相对角度为12◦[±7]。评估的影响x轴定义从腹部在横平面检测，方差的空间分布注释心脏和胃计算在两个参考坐标系统：首先与x轴直接从检测脊柱曲率和其次与第二个x轴从腹部检测，如秒所述。2.1.关于心脏，第一个坐标系的方差为13.9 mm，第二个坐标系为5.6 mm。对于胃，它从10.4 mm增加到4.3 mm，这表明使用腹部检测使x轴的定义更加准确。头/趾分类的成功率为86%。
在卷对齐和地标描述过程中描述的所有步骤。5一个主要结论是，体积对齐过程大大降低了美国体积数据库中的空间定位和大小可变性，使得使用随机森林学习算法检测内部器官成为可能。如前所述，实验是在一个126个超声体积的数据集上进行的，该数据集被分成4倍。为了测试每一个折叠，该算法将在剩下的3个折叠上进行训练。
将检测到的器官位置与手动注释进行比较。使用全自动管道，脐静脉、心脏、胃和膀胱的平均值分别为{10.2；11.1；11.1；15.4}mm，接近使用手动注释脊柱初始化体积对齐的相同器官的{10.0；10.8；11.0；15.3}mm。这些结果表明，用于确定胎儿坐标系的自动脊柱和腹部检测是令人满意的
躯干分割
对躯干分割步骤进行了全面的评估。9研究发现，包括使用FovFCNs估计的躯干概率图显着提高了基于模型的分割的精度，特别是增强了对初始化错误的鲁棒性。定量地，报告了平均表面距离为2.24 mm，骰子分数为0.87。
AC平面估计
图6中示出了AC平面估计的四个示例性结果。对于定量评估，计算了平面偏移误差、平面角度误差、AC长度误差和轮廓点位置的误差(对于示例性情况，参见表1，对于定量结果，参见表2)。平面偏移误差是沿地面真实平面在地面真实等高线中心的平面法线测量的。此外，临床专家对轮廓的临床可用性进行了评估，成功率为62%(“无需纠正”)。
图6.交流平面估计的示范结果。左：专家AC轮廓中：组合躯干模型的分割结果，右：躯干概率图。在(A)中，给出了一个极小的交流长度误差仅为0.1%的良好结果。(B)显示AC平面选择的最佳结果，脐静脉和胃清晰可见，长度误差仅1.8%。在(C)中，AC平面选择得很好，AC长度误差较大是由于腹部的形状。
在(D)中，图像是噪声和困难的，导致AC平面不是最优的，然而，由于临床医生和自动化方法都依赖于形状先验，AC长度误差仅为2.7%。
结论
本文提出了一种新的基于人工获取的三维体积的标准AC平面定位和测量的全自动方法，可用于中期妊娠筛查。该过程采用了基于随机森林的地标定位、基于神经网络的躯干区域检测和基于模型的器官分割。尽管测试数据的胎龄范围从18-32周很大，但在测试集上获得的平均偏移量误差为5.8 mm，平均相对周长误差为4.9%。
这样，AC长度的相对误差小于报告的观察者间变异性8.8%，甚至观察者内变异性5.6%。4在62%的病例中，自动估计的AC平面被临床观察者判断为适合临床应用，而无需修改。对于剩余的大多数病例，只要有微小的平面几何变化，就可以获得临床上合适的结果。由于观察者之间有很大的可变性，不仅在测量给定2D超声图像中的腹围时，而且在体积中找到正确的AC平面时，所提出的解决方案的优势可能不是临床工作流程的完全自动化，而是实现适当结果所需的时间的减少。
仅用有限数量的案例对所提出的方法进行了评估。需要在更大数量上进行进一步的工作，以确保该方法在各种采集环境和孕期中保持稳健和准确。
REFERENCES
1. A. T. Papageorghiou, E. O. Ohuma, D. G. Altman, T. Todros, L. C. Ismail, A. Lambert, Y. A. Jaffer,
E. Bertino, M. G. Gravett, M. Purwar, J. A. Noble, R. Pang, C. G. Victora, F. C. Barros, M. Carvalho,
L. J. Salomon, Z. A. Bhuttaf, S. H. Kennedy, and J. Villar, “International standards for fetal growth based
on serial ultrasound measurements: the Fetal Growth Longitudinal Study of the INTERGROWTH-21st
Project,” The Lancet 384, pp. 869–879, 2014.
2. A. Coomarasamy, N. M. Fisk, H. Gee, and S. C. Robson, “The investigation and management of the small–
for–gestational–age fetus,” Royal College of Obstetricians and Gynaecologists, Guideline No. 31 , 2002.
3. M. B. Landon, M. C. Mintz, and S. G. Gabbe, “Sonographic evaluation of fetal abdominal growth: predictor
of the large-for-gestational-age infant in pregnancies complicated by diabetes mellitus,” American journal
of obstetrics and gynecology 160(1), pp. 115–121, 1989.
4. I. Sarris, C. Ioannou, P. Chamberlain, E. Ohuma, F. Roseman, L. Hoch, D. Altman, and A. Papageorghiou,
“Intra-and interobserver variability in fetal ultrasound measurements,” Ultrasound in Obstetrics & Gynecology 39(3), pp. 266–273, 2012.