语义分割
-
综述
知乎：图像语义分割综述
知乎：DeepLab 语义分割模型 v1、v2、v3、v3+ 概要（附 Pytorch 实现）
干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
4种语义分割数据集Cityscapes上SOTA方法总结 ——强推
语义分割综述 ——强推
史上最全语义分割综述（FCN,UNet,SegNet，Deeplab，ASPP…）
最全综述 | 图像分割算法 -
心得
把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。在这个过程中，图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型：语义分割和实例分割。语义分割不同的实现架构：
(1). 编码器-解码器的构架（FCN、SegNet、U-Net）
编码器一般采用图像分类预训练得到的网络，采用不断的max pooling和strided convolution有利于获得长范围的语境信息从而得到更好的分类结果。然而在此过程中特征分辨率不断降低，图像细节信息丢失，对于分割任务而言具有巨大的挑战。因此在编码器之后需要利用解码器进行图像分辨率的恢复；
(2). 语境模块（Multi-scale context aggregation、DeepLab V1、V2和CRF-RNN等）
语境模块一般是级联在模型后面，以获得长距离的语境信息。以DenseCRF级联在DeepLab之后理解，DenseCRF能够对于任意长距离内像素之间的关系进行建模，因此改善逐项素分类得到的分割结果；
(3). 金字塔池化方法（PSPNet、DeepLab V2、V3、V3+等）
金字塔池化的方法作用在卷积特征上，能够以任意的尺度得到对应的语境信息。一般采用平行的多尺度空洞卷积（ASPP）或者多区域池化（PSPNet）得到对应尺度语境信息的特征，最后再将其融合形成综合多个尺度语境的特征向量。
原文链接
用Conditional Random Field（CRF）postprocessing（CRF后处理）通常用来提升分割效果。CRF是一个图模型，它基于潜在的图像强度来进行光滑分割。他们的工作基于这样的观察:相似强度的像素往往被标记为相同的类，通常CRF可以提高1%~2%的性能。
原文链接
进阶参考：知乎：语义分割该如何走下去？ -
损失函数
语义分割之损失函数汇总
实际上Dice Loss只是Tversky Loss的一种特殊形式而已。
知乎：【损失函数合集】超详细的语义分割中的Loss大盘点 -
deeplabv3+
v3+ 最大的改进是将 DeepLab 的 DCNN 部分看做 Encoder，将 DCNN 输出的特征图上采样成原图大小的部分看做 Decoder ，构成 Encoder+Decoder 体系，双线性插值上采样便是一个简单的 Decoder，而强化 Decoder 便可使模型整体在图像语义分割边缘部分取得良好的结果。
具体来说，DeepLabV3+ 在 stride = 16 的DeepLabv3 模型输出上采样 4x 后，将 DCNN 中 0.25x 的输出使用1x1的卷积降维后与之连接（concat）再使用3x3卷积处理后双线性插值上采样 4 倍后得到相对于 DeepLabv3 更精细的结果。 -
HROCR
【multi-scale系列】HRNet系列：HRNet、HRNetV2、HRNetV2p、HigherHRNet
打通多个视觉任务的全能Backbone:HRNet
HRNet 源代码结构详解 ——强推 -
segformer
（NeurIPS’21) SegFormer: 简单有效的语义分割新思路
ViT的结构不太适合做语义分割，因为ViT是柱状结构，全程只能输出固定分辨率的feature map, 比如1/16, 这么低的分辨率对于语义分割不太友好，尤其是对轮廓等细节要求比较精细的场景。
mmsegmentation我个人认为是目前最好的语义分割军火库(openmmlab, yyds)，推荐大家多多使用。 -
其他网络
Segmenter：基于纯Transformer的语义分割网络
STDC语义分割网络:BiSeNet的轻量化加强版（CVPR2021语义分割）
2020语义分割网络语义流：Semantic Flow for Fast and Accurate Scene Parsing
Fast-SCNN：多分支结构共享低级特征的语义分割网络
语义分割网络-BiSenet -
其他
SOTA模型，以为是个很牛逼的算法，找了半天原理SOTA是state of the art的缩写
推广：SOTA，benchmark和baseline分别是什么意思？
代码指路
https://github.com/kazuto1011/deeplab-pytorch ——已测试
https://github.com/fregu856/deeplabv3
https://github.com/YudeWang/deeplabv3plus-pytorch
这是不知道什么时候看的densenet
https://github.com/gpleiss/efficient_densenet_pytorch/blob/master/models/densenet.py