对比裁剪（ContrastiveCrop）：
相比于传统的随机裁剪，保证了大部分正样本对语义一致的前提下，加大样本之间的差异性，从而通过最小化对比损失学习到更泛化的特征
ContrastiveCrop（Crafting Better Contrastive Views for Siamese Representation Learning）_马鹏森的博客-CSDN博客
指数移动平均（EMA）：
在一定程度上提高最终模型在测试数据上的表现（例如accuracy、FID、泛化能力...）
【炼丹技巧】指数移动平均（EMA）【在一定程度上提高最终模型在测试数据上的表现（例如accuracy、FID、泛化能力...）】_马鹏森的博客-CSDN博客_ema功能
类激活映射（CAM）：
可视化训练过程，得知网络更关注的部分，通过可视化，就像往黑箱子里打了一个手电筒，让人们可以尝试去理解网络。
Class Activation Mapping（CAM）类激活映射_马鹏森的博客-CSDN博客_什么是类激活映射
直方图匹配（histogram matching）:
使两幅影像的色调保持一致， 使用直方图匹配，使两幅图像的色调更一致，是在模型训练之前使用的，是一种数据处理的方式（例如在图像风格转换的时候，那么使用直方图匹配会让源域与目标域的图像色调更接近，从而风格转换的效果更好...）
直方图匹配（histogram matching）:使两幅影像的色调保持一致_马鹏森的博客-CSDN博客_直方图匹配
Squeeze-and-Excitation Networks（SENet ）：
通过加入SENet这样一个子结构，可以嵌入到其他分类或检测模型中。
Squeeze-and-Excitation Networks（SENet ）_马鹏森的博客-CSDN博客
Charbonnier Loss：
用Charbonnier Loss来近似 损失来提高模型的性能
Charbonnier Loss_马鹏森的博客-CSDN博客
TTSR:
1、该模型中提取Q、K、V的过程值得学习一下，他们使用的是：V自然就是参考图（Ref），用于辅助得到更好的纹理结果，Q是LR上采样图的特征（LR↑），K是参考图先下采样再上采样的特征（Ref↓↑），是否我们做特征提取过程可以借鉴这个设计？【下上采样参考图像和上采样LR图像，用于image inpainting 就是】
2、使用跨层级特征融合（Cross-Scale Feature Integration ）进行信息融合，与skip-connection类似是为了更多信息进行fuse，是否和transformer的多头有相似之处？
（TTSR）Learning Texture Transformer Network for Image Super-Resolution_马鹏森的博客-CSDN博客