MICCAI2019 多模分割相关论文笔记
Learning Shape Priors for Robust Cardiac MR Segmentation from Multi-view Images
本文设计了Shape MAE（Multi-View Auto Encoder）结构来学习多视角下心脏形状的隐式表达；以及设计了分割网络 Multi-View Unet，能够结合MAE学习到的解剖形状的先验知识，来指导分割。
介绍
心脏的 3D CMR 标注图像难以获得，需要患者长时间屏住呼吸，且用 3D 图像训练极大减少了训练样本数量。临床中经验丰富的临床医生会在多个标准视图（即长轴和短轴视图）中评估心脏的形态和功能。作者认为了解跨不同2D标准视图的解剖形状先验，并利用这些先验从短轴MR图像中分割左心室（LV）心肌，具有作为2D网络的优势，但同时又利用了3D空间的多个互补视图的空间上下文信息。
方法
- Shape MAE（Shape-aware Multi-View Auto Encoder）结构示意图如下：
通过自编码器学习，得到z1-z4 四个标准视图的解剖先验信息，损失函数设计如下：
- Multi-View U-Net 在UNet网络中的 bottleneck 处中引入了一个名为“融合块”的模块以将latent code注入到分段网络中。
实验结果
总结
用自编码器和多模思想提取形状先验，再在分割时与原网络进行融合。
