TransBTS: 3D 多模态脑肿瘤分割 Transformer 阅读笔记

文章目录

• 1 前言
• 2 TransBTS 整体结构概述
• 3 Network Encoder
• 4 Network Decoder
• 5 实验部分
• 6 总结
• 7 参考链接

1 前言

这是医学图像处理系列的第三篇文章，arXiv 链接在文末，为什么选择写下 TransBTS 这篇论文的阅读笔记？因为才有时间整理了。此外，与之前的两篇相比，它们都有各自的代表性。第一篇（https://zhuanlan.zhihu.com/p/505483978）是 2D Transformer 医学图像分割，第二篇（https://zhuanlan.zhihu.com/p/506716802）是轻量级网络 2.5D 的，在这一篇阅读笔记中，讲解的则是 3D 多模态脑肿瘤分割 Transformer，也接受在 MICCAI 上。后面文章过多的话，我会整理成目录的形式。
Transformer 由于自注意力机制具有捕获全局依赖特征的能力，且允许网络根据输入内容动态收集相关特征，在自然语言处理和 2D 图像分类方面取得了成功。然而，局部特征和全局特征对于 dense 的预测任务同样重要，尤其是对于 3D 医学图像分割。那么在 3D CNN 中利用 Transformer 是值得关注的，这篇文章中提出了基于编码器-解码器结构的新型网络 TransBTS，BTS 指的是 MRI 的脑肿瘤分割。为了获取局部的三维上下文信息，编码器首先利用 3D CNN 提取三维空