RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans
RA-unet：一个混合的深度注意感知网络，用于在CT扫描中提取肝脏和肿瘤
Published: ICONIP2019
论文：https://arxiv.org/abs/1811.01328
代码：https://github.com/RanSuLab/RAUNet-tumor-segmentation
问题动机：
通常肝脏肿瘤分割方法可分为3类：手动分割、半自动分割和自动分割。手动分割是一种主观性较强、可重复性差且非常耗时的方法。它高度依赖手工提取的特征，并且需要高级的技术人员来完成。半自动分割需要人工干预，而这可能导致偏差和错误。然而，自动分割受到大规模的空间和结构变化，肝脏与肿瘤区域之间的对比度低，噪声，部分体积效应，3D空间肿瘤特征的复杂性，以及与附近器官相似等因素的影响，使得自动化分割变得非常困难。而这篇文章提出了一种名为RA-UNet的混合残差注意力的肝脏肿瘤分割方法，目的是以一种端到端的方式从CT图像中有效提取上下信息。
论文贡献如下：首先，将残差块进行堆叠，这可以加深网络并且能够解决梯度消失问题。其次，注意力机制可以关注到图像的特定部分。通过堆叠注意力模块可以实现不同类型的注意，从而使注意感知的特征可以自适应地变化。第三，作者使用2D/3D U-Net作为基本架构来获取多尺度注意力信息并将低层特征与高层特征结合在一起。还值得注意的是，这篇文章的肝脏/肿瘤分割方法是一个完整的3D网络，以端到端的方式进行分割预测。
主要方法：
(1)数据预处理：
在下表中列出了一些主要组织的CT值，本文在实验过程中将HU窗口设置为-100到200，这样大部分无关的器官和组织都会被清除掉。在设置好窗宽以后，还对数据进行了零均值归一化和最小-最大归一化。（HU窗口）
(2)网络结构：
网络结构如图所示，(a)2D RA-UNet(RA-UNet-I)用一个box对肝脏进行粗略的定位。(b)3D RA-UNet(RA-UNet-II)设计用于在肝脏边界框内分层提取肝脏感兴趣区(VOI)的注意感知特征。（c）RA-UNet-II负责准确地提取肝脏VOI内部的肿瘤。(d)RA-UNet的总体架构。
其中，在(d)RA-UNet的总体网络结构里面，编码器和解码器之间是通过注意残差模块进行连接的，该模块包含一个主干分支(trunk branch)和一个软蒙版分支(soft mask branch)。具体结构如图所示，(a)中主干分支学习图像的原始特征，而软蒙版分支则专注于减少图像噪声和增强有利于分割的好的特征；
(b)表示的是(a)中软蒙版分支，其包含一堆编码器-解码器块。 D表示跳过连接的深度，在网络中根据注意力残差块的特定位置将D设置为0、1、2、3。
RA-UNet中使用的残差块如图所示，由批处理归一化(BN)层，激活(ReLU)层和卷积层(Conv)的三组组合而成。
RA-UNet-I 的网络结构参数如表所示，其中[ ]表示长连接；[ , ]定义拼接操作；Conv表示卷积；Up表示上采样； Res表示残差块；然后用 Att 表示“注意区域”的大小，以生成肝脏分割的最终概率图。
RA-UNet-II 的网络结构参数如表所示，其中[ ]表示长连接；[ , ]定义拼接操作；Conv表示卷积；Up表示上采样； Res表示残差块；然后用 Att 表示“注意区域”的大小，以生成肝脏分割的最终概率图。
(3)损失函数：
实验中使用Dice系数作为损失函数，其中N是体素的数量，si和gi分别属于预测值和真实值。
实验结果：
表4和表5分别给出了RA-UNet和其他方法在LiTS和3DIRCADB的评测结果。图4表示的是RA-UNet的分割结果图，绿色区域表示正确提取的肝脏，黄色区域表示错误提取的肝脏，蓝色表示正确提取的肿瘤区域，红色表示错误提取的肿瘤。
（2D-Densely Connected Convolution Neural Networks for automatic Liver and Tumor Segmentation 2018
Automatic Liver Lesion Detection using Cascaded Deep Residual Networks 2017
H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT V olumes IEEE TMI 2018
Hierarchical Convolutional-Deconvolutional Neural Networks for Automatic Liver and Tumor Segmentation 2017）
总结：
这篇文章提出一种名为RA-UNet的3D混合残差注意感知的分割方法，以精确提取感兴趣的肝脏体积(VOI)并从肝脏VOI中分割肿瘤。RA-UNet以3D Unet作为基本体系结构，然后结合低层特征图和高层特征图提取上下文信息。利用残差和注意力相结合的分割网络-RA-UNet，该网络包括三个部分：首先通过2D RA-UNet进行肝脏定位，然后通过3D RA-UNet精确分割肝脏，最后从肝脏的感兴趣区中精确分割出肿瘤。堆叠注意力模块使得网络变深，通过残差学习使得注意力特征图自适应变化。最后，在MICCAI 2017和3DIRCADb上性能达到SOTA，还将RA -UNet扩展到Brats2017和Brats2018中，并获得良好的性能。