对比学习模型小抄(1)

前言

对比学习这几年大火，这里我做下记录，哎，都怪之前没好好学习。没怎么掌握好~
发顶会顶刊论文，你应该这样写作！

模型

Moco

CVPR 2020 最佳提名。

$${\theta }_k=m{\theta }_{k-1}+(1-m){\theta }_q$$

论文: Momentum Contrast for Unsupervised Visual Representation Learning
代码: https://github.com/facebookresearch/moco

何恺明大佬神作之一。
精独论文 MoCo 论文逐段精读【论文精读】.要理解对比学习，需要先知道一些常见的代理任务。如instance discrimination, 该视频中有介绍(4:28时刻)

infoNCE
$$\ell =-log\frac{exp(q\cdot k_{+}/\tau )}{{\sum }_{i=0}^{K}exp(q\cdot k_{+}/\tau )}$$
其中K是负样本个数(i=0是正样本，i=1…K是负样本), $\tau$是温度系数