MICCAI2019 多模分割相关论文笔记
Context-Aware Inductive Bias Learning for Vessel Border Detection in Multi-modal Intracoronary Imaging
多模式冠状动脉内成像已被证明具有强大的能力来帮助诊断冠状动脉疾病，然而由于血管所处的环境变化，即图像外观和组织形态不一致，在多模式图像分析中检测所有临床上有价值的血管边界方面没有成功的报道。作者提出了一种上下文感知的归纳偏好学习方法，以能够在多模式冠状动脉内成像中检测三个血管边界，即血管内超声（IVUS）中的管腔边界和中膜-外膜边界，以及光学相干断层扫描（OCT）中的管腔边界。作者的方法基于血管的上下文信息，将一个血管边界的检测过程作为对另一个血管边界的模型约束进行开发。由精心设计的语义融合多任务神经网络，用相似的语义信息和不同的环境信息来引导不同血管边界检测任务之间的相互正则化。
方法
提出的 CIB 方法用 IVUS 和 OCT 两种模式的图像，共同得到三种边界，而不是分别得到一种加两种边界。
首先，提出了跨任务特征融合模块，将不同任务中的容器语义特征进行集成，以学习与环境无关的有关容器上下文相关性和环境变化的信息。其次，提出了跨层次特征融合模块，将低层次和高层次相结合 用于使用本地详细信息增强高级要素图的要素。 第三，提出了金字塔式扩张密集卷积（PDDC）模块，以捕获全局上下文信息，同时保留局部高分辨率信息以有效地提取语义特征。 此外，它还利用专门设计的损失函数从重叠度和绝对误差方面优化了CIB。
实验结果
总结
针对两种图像给出的三类不同的边界信息设计的融合网络。在特征提取阶段分别用 resnet + skip connection 提取特征，并分别加入 GT 作为辅助损失，在特征融合阶段使用两个独立的自动编码器，并将其中一个支路作为连接两张图像信息的桥梁。
