U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》（MICCA 2015)

医学图像分割

• 难点

  • 数据量少。一些挑战赛只提供不到1 0 0例的数据
  • 图片尺寸大。单张图片尺寸大、分辨率高，对模型的处理速度有一定的要求
  • 要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高
  • 多模态。以I SLES脑梗竞赛为例，其官方提供了CBF , MTT , CBV , TMAX , CTP等多种模态的数据
    

• ISBI：IEEE International Symposium on Biomedical Imaging(IEEE国际生物医学影像研讨会)

  • ISBI是IEEE信号处理协会（SPS）和IEEE医学与生物学工程学会（EMBS）的一项联合计划。要求高质
    量的论文，包括图像形成和重建，图像处理和分析，动态成像，可视化，图像质量评估，大图像数据的机器学习以及物理，生物学和统计建模。

1. U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》（MICCA（国际医学图像计算和计算机辅助干预会议）2015）

• 标题：SegNet:一种用于图像分割的深度卷积编码器-解码器结构

• 论文：https://arxiv.org/pdf/1505.04597v1.pdf

• 代码：

  • https://github.com/labmlai/annotated_deep_learning_paper_implementations
  • https://github.com/milesial/Pytorch-UNet

• 研究成果及意义：

  • 1.赢得了ISBI cell tracking challenge 2015
  • 2.速度快，对一个512*512的图像，使用一块GPU只需要不到一秒的时间
  • 3.成为大多做医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络
  • 4.UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依
    据），完美适用于医学图像分割

• 摘要：

  • 主要贡献：本文提出了一个网络和训练策略，使用数据增强，以便更有效的使用可用的带标签
    样本
  • 网络结构：网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张
    路径用以精确定位
  • 网络效果：该网络可以用很少的图片进行端到端训练，处理速度也比较快
  • 实验结果：以很大的优势赢得了2015 ISBI细胞跟踪挑战赛

• 引言

  • Ciresan等人在滑动窗口设置中训练网络，以某一像素的领域（patch）作为输入，用于预测每个像素的类别标签。网络的优点有：
    • 网络具有局部感知能力
    • 用于训练的样本数量远大于训练图像的数量
    • 改网络获得EM分割挑战ISBI 2012冠军
  • 改网络中有两点明显的不足：
    • 改网络运行效率很慢。对于每个领域，网络都要运行一次，且对于领域重叠部分，网络会进行重复运算
    • 网络需要在精确的定位和获取上下文信息之间平衡。越大的patch需要越多的最大池化层，这会降低定位的准确度，而小的patch使得网络获取较少的上下文信息。
  • 我们在FCN基础上建立了一个更加优雅的框架，我们修改并扩展了这个框架，使其可以仅使用少量训练图片就可以工作，获得更高的分割准确率,改进思想：
    • 设计了一个完全对称的U型结构，可以更好的融合图片特征
      
    • 在上采样部分也包括大量特征通道，使网络能够将全局信息传播到更高的分辨率层
    • 采用镜像输入图像的方式进行补全缺失内容(是针对卷积操作存在两个问题： 1.图像越来越小；2.图像边界信息丢失，即有些图像角落和边界的信息发挥作用较少,文章中是说：细胞中心具有上下文信息帮忙分类，边界没有很好的上下文信息，所以需要补全 )
      
      图中（镜像操作）：将边缘部分对称反转padding图像边缘，通过卷积核保持最后的特征图大小不变
    • 数据增强：用随机变形，对细胞分割很有效
    • 设计了加权损失函数（连接细胞的权重大些）
      
      
      加权损失：$d_1（x）$表示图中某一背景像素点到离这个点最近的细胞边界的距离，$d_2（x）$表示离这个像素点第二近的细胞的距离。即在细胞边界附近的像素点给的权重会大一些，离细胞比较远的像素点会小一点。如果同类细胞贴的比较近，可能就会增大训练的难度，减少准确率，毕竟卷积会考虑该像素点周围的一些特征，而两个相同的类的细胞贴在一起，就容易误判，所以对这种两个相同类贴在一起的细胞边界，给予较大的权重，使得训练之后分割更准确

2. FusionNet——《FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics》（主题CVPR 2016）

• 标题：学习反卷积网络的语义分割
• 论文：https://arxiv.org/ftp/arxiv/papers/1612/1612.05360.pdf
• 代码：https://github.com/GunhoChoi/FusionNet-Pytorch
• 摘要：
  • 主要贡献：本文提出了一种新的深度神经网络FusionNet，用于自动分割连接组学数据中的神经元结构
  • 主要方法：引入了基于求和的跳跃连接，允许更深入的网络结构以实现更精确的分割
  • 实验结果：通过与ISBI-EM分割挑战中的最新方法比较，我们展示了方法的新性能。还展示了两个其他任务的分割结果，包括细胞膜和细胞体的分割以及细胞形态学的统计分析