论文地址：https://arxiv.org/abs/2006.07733
开源代码：https://github.com/deepmind/deepmind-research/tree/master/byol
MoCo, SimCLR, CPC都是对比学习方法。
BYOL不需要负样本也能在ImageNet上取得74.3%的top-1分类准确率。BYOL使用两个神经网络，online网络和targets网络。online网络的参数设为θ，由三部分组成，编码器fθ，projectorgθ（Linear+BN+ReLU+Linear）和projectorqθ ；target网络与online网络有相同的架构，但是拥有不同的参数ξ。target网络提供回归目标训练online网络，但是target网络的参数ξ采用EMA（指数滑动平均）公式（与MoCo的动量更新公式相似）进行更新。公式为
。
算法对比
参考：对比学习系列（四）---BYOL_陶将的博客-CSDN博客_byol对比学习
- SimCLR中的MLP，每个线性层后都带有BN
- MoCo V2中的MLP，不使用BN
- BYOL中的MLP，只在第一个线性层之后带有BN
参考：
计算机视觉 - 自监督学习 - Bootstrap Your Own Latent (BYOL, DeepMind)_哔哩哔哩_bilibili