前言
如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。
本文为「对比学习论文综述」的笔记，其中将对比学习分为了以下四个发展阶段：
- 百花齐放
- CV 双雄
- 不用负样本
- Transformer
其中涉及到的一些方法，具体关系如下：
百花齐放
InstDisc (cvpr18)
- 把每一个个体当作一个类别，学一种特征将每一张图片都区分开，进而引入个体判别这一代理任务
- 正样本即图片本身（可能数据增强），负样本即其它所有图片
- 大量负样本都存在 Memory Bank（ImageNet 中为 128w），因此特征数不能过高（128 维）
- 每次一个正样本，对应采样的 4096 个负样本，使用 NCE loss 计算损失；随后将这个 mini-batch 中样本的新表示，拿去更新 Memory Bank 中的结果
InvaSpread (cvpr19)
- 从同一个 minibatch 中抽取正负样本，属于端到端的学习
- 使用同一个编码器，且不需要存储大量的负样本
CPC (arxiv18)
- 一个编码器 + 自回归模型
- 用预测的代理任务来做对比学习，提出 InfoNCE Loss
CMC (eccv20)
- 同一张图片的多个模态为正样本，其余为负样本
- 不同模态使用不同的编码器
- 证明了对比学习的灵活性
CV 双雄
这段时期主要是「MoCo 系列模型」与「SimCLR 系列模型」在轮番较量。
MoCo (cvpr20)
- 队列（取代 Memory Bank）与动量编码器（动量地更新编码器，而不是更新特征）
- 使用 InfoNCE 作为目标函数，并第一次使用无监督方法比有监督表现地更好
- Insight
- 负样本最好足够多，即字典足够多
- 负样本来自的编码器，尽量保持一致，即字典中的特征应保持一致
SimCLR (icml20)
- 正负样本来自同一个 minibatch，每个样本会进行数据增广
- 得到表示后，会再过一个 g (MLP + ReLU) 降维得到 z，随后在 z 上训练 h；但在下游任务上，会丢弃 g，只使用 h
- 与 InvaSpread 区别
- 更多的数据增广方式
- 更大的 batch size
- 增加了 g 模块
MoCo v2 (arxiv20)
- 将 SimCLR 中的 g 和数据增广，借鉴到了 MoCo 中
- MLP、aug+、cosine learning rate schedule、more epochs
SimCLR v2 (nips20)
- 用更大的模型，无监督对比学习效果更好
- 将之前一层的 MLP (fc+relu) 换成两层的 MLP，即加深了 projection head
- 使用动量编码器
SwAV (nips20)
- 拿到负样本聚类得到的矩阵，将其作为映射矩阵 C，随后代理任务为，两个正样本 z1、z2，经过映射矩阵 C 得到的 Q1、Q2，应尽可能相似
- trick：数据增广时，采用多尺度去裁剪图片 (multi crop)
不用负样本
BYOL (nips20)
- Model collapse: 即一旦只有正样本，模型会学到 trival solution，即所有输入都对应相同输出
- 编码器 1 为希望学到的编码器，编码器 2 为动量编码器，两个正样本经过编码器 1、2 分别得到 z1、z2，随后 z1 再过一层 MLP 得到 q1，此时用 q1 来预测 z2 进而来更新网络（使用 MSE Loss）。最后在下游任务上，使用编码器 1 进行特征表示
- BYOL 为什么不会坍塌：如果去除 BYOL 中 MLP 里的 BN，学习就会坍塌，但加上就不会
- 一种解释角度：BN 即使用 minibatch 的均值和方差，因此 BN 会导致数据泄露，即 BYOL 实际上是和 “平均图片” 去比，可以认为是一种隐式的负样本
- BYOL 后续进一步回应（大量消融实验）：BN 能够使模型训练更加稳定，就算不用 BN，换成 Group Normalization 或者比较好的初始化，BYOL 依然可以学得比较好
SimSiam (cvpr21)
- 特点：不需要负样本、大 batch size、动量编码器
- 方法：将 BYOL 中的动量编码器变成了一个可以更新的编码器
- 解释：stop gradient 使得模型的更新交替进行，类似 EM 的思想
Transformer
MoCo v3 (iccv21)
- 在 MoCo v2 基础上，引入了 SimSiam 中 predictor 以及两边一起更新的 EM 思想，并将 backbone 从 ResNet 换成了 Vision Transformer
- 出现的问题：大 batch size 时，训练波动很大，导致最终结果也不太好
- 解决方式：在训练时，冻住 patch projection layer，即使用 random patch projection layer
DINO (iccv21)
- 整体与 MoCo v3 非常像，主要不同在于算 loss 时，用了一下 centering 的 trick