序文
ここ数年の学習と比較して、ここに記録を残します. ねえ、以前はよく勉強しなかったのはすべて私のせいです. マスターする方法がわかりません〜
トップジャーナル紙を送るには、このように書く必要があります！
モデル
バガー
CVPR 2020 最優秀候補者。
θ k = m θ k − 1 + ( 1 − m ) θ q \theta_k = m \theta_{k-1} ~+ ~(1-m)\theta_q私k=mθ _k − 1 + ( 1−m )私q
論文:教師なし視覚表現学習
コードの運動量コントラスト: https://github.com/facebookresearch/moco
何開明の代表作の一つ。
Intensive reading of MoCo papers paragraph by paragraph [Intensive reading of papers] . 対照学習を理解するには、最初にいくつかの一般的なエージェンシー タスクを知る必要があります。この動画で紹介されている事例判別など（4:28頃）
infoNCE
ℓ = − logexp ( q ⋅ k + / τ ) ∑ i = 0 K exp ( q ⋅ k + / τ ) \ell = -log\frac{exp(q\cdot k_+ /\tau)}{\sum_ {i=0}^Kexp(q\cdot k_+ /\tau)}ℓ=−ログ_ _∑私は= 0Ke × p （q⋅k+/トン）e × p （q⋅k+/トン）。
ここで、K は負のサンプルの数 (i=0 は正のサンプル、i=1...K は負のサンプル)、τ \tauτは温度係数