cvpr2022
extension://bfdogplmndidlpjfhoijckpakkdjkkil/pdf/viewer.html?file=https%3A%2F%2Farxiv.org%2Fpdf%2F2203.07615.pdf

0.小样本语义分割开山之作

One-Shot Learning for Semantic Segmentation

0.1元学习

在这里插入图片描述

0.1.1和普通机器学习区别

在这里插入图片描述
学习预处理数据集DADA；学习网络结构NAS
训练样本中的训练集一般称作support set，训练样本中的测试集一般叫做query set。普通的机器学习是规定好了映射方式，然后通过大量的数据和训练去寻找映射方式的超参，然后通过测试集来验证泛化能力。
在这里插入图片描述
而在元学习中训练单位是任务，一般有两个任务分别是训练任务（Train Tasks），和测试任务（Test Task）。
训练任务：
1.训练任务中给定h个子训练任务，首先通过这h个子任务的 Support set 训练，分别训练出针对各自子任务的模型参数θ
2.然后用不同子任务中的 Query set 分别去测试θ性能，然后计算损失
3.整合损失L(φ)=l 1 +…+l k +…+l h
4.然后用梯度下降法去求出超参数φ 跟新θ
在这里插入图片描述

测试任务：
在这里插入图片描述

0.2One-Shot Learning for Semantic Segmentation

0.2.1网络结构

条件分支采用VGG，分割分支采用FCN-32s网络。非对称的结构
在这里插入图片描述

0.2.2条件分支

条件分支对应的是支持集图像，该图像包含一张目标物体的二元掩码图（一个通道）和一张原图（RGB三个通道），首先经过掩码操作，将原图中目标物体所在区域提取出来。然后经过VGG网络进行特征提取，再利用全连接层将其转化为长度为1000的特征向量。最后经过一个“权重哈希(Wight Hashing)”操作将其转化为长度是4097的一维向量（w（长度为4096）和b （长度为1））。所谓的权重哈希操作是利用一个固定权重的全连接层来实现的，权重计算方法如下式

在这里插入图片描述
流程：
二元掩码图（单通道）+原图（RGB三通道）——VGG特征提取——全连接层转长度1000特征向量——权重哈希（wight hashing）——4097的一维向量

0.2.4分割分支

流程：
图片——FCN-32s——4096的特征图F——利用条件分支得到一维向量作为权重和偏置对F做逻辑回归——双边线性插值上采样——恢复原尺寸大小——以0.5为阈值对查询图片进行掩码操作——得到分割图像
在这里插入图片描述

-------------Learning What Not to Segment: A New Perspective on Few-Shot SegmentatioN------

1.摘要

现有问题：现有模型往往存在基类偏执即不需要分割的区域（前后景），而非理想化的类别无关

解决方法：在传统的FSS( few-shot segmentation)模型(元学习器)上增加了一个分支(基学习器，svm等)来明确地识别基类的目标，即不需要分割的区域，作者把这种结构叫做BAM即base and the meta。然后，对两个学习器并行输出的粗结果进行自适应集成，得到精确的分割预测。
其次元学习器对画质要求比较高，而基学习器的分割结果比较稳定。作者受到到风格迁移领域的影响提出了用场景差异评估来调整：使用格拉姆矩阵来衡量两个矩阵的差值（两个图像的特征向量的Gram矩阵的差异较小,就可以认定这两个图像风格是相近的），用Frobe-nius norm来衡量特征的总体指标来进行调整
在这里插入图片描述