Curricular Contrastive Regularization for Physics-aware Single Image Dehazing (CVPR2023) 论文记录

Curricular Contrastive Regularization for Physics-aware Single Image Dehazing

基于课程对比正则化的物理感知单幅图像去雾算法（CVPR2023）

原文链接：https://openaccess.thecvf.com/content/CVPR2023/papers/Zheng_Curricular_Contrastive_Regularization_for_Physics-Aware_Single_Image_Dehazing_CVPR_2023_paper.pdf

---

摘要

1. 在单幅图像去雾领域，考虑到图像去雾问题的不适定性，Wu¹提出了对比正则化方法，将负样本图像的信息引入作为下界。（本文主要是基于该方法的改进）
2. 但是，对比样本是不一致的，因为负样本通常与清晰（即正样本）图像差别较大，导致求解空间不足；此外，由于清晰图像和负样本之间嵌入的相似性不同，多个组成部分的学习难度本质上存在不平衡。为了解决这个问题，本文设计了一种课程学习策略，重新调整对比正则化中不同负样本的重要性。
3. 此外，为了提高特征空间中的可解释性，根据大气散射模型，本文构建了一个具有物理感知能力的双分支单元。
4. 结合物理感知双分支单元和课程学习对比正则化方法，构建了本文的去雾网络结构：C2PNet
5. 实验表明，C2PNet 明显优于SOTA最先进的方法，在 SOTS-indoor 和 SOTS-outdoor 数据集上分别具有3.94dB 和 1.50dB 的 PSNR 提升。

关键技术总结
课程学习（Curriculum learning）
对比学习（Contrastive Learning）
对比正则化（Contrastive Regularization，CR）
物理感知双分支单元（Physics-aware Dual-branch Unit，PDU）

C2PNet 网络结构示意图：用物理感知双分支单元(PDU)替换FFA-Net中的PA模块构建去雾网络，生成的去雾图像作为锚点(Anchor)，再进行课程对比正则化方法，使得去雾图像更加接近清晰图像。

---

一、课程学习

1. 受人类认知系统启发，Elman强调了神经网络训练中从小开始的重要性，被视为课程学习的原型。随后，Bengio等人正式提出了课程学习（Curriculum learning），根据样本的难度来安排训练样本。
2. 课程学习是一种训练策略，模仿人类的学习过程，主张让模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识。

---

二、对比学习

• 对比学习（Contrastive Learning）主要应用于高级视觉任务，首先使用对比学习的是InstDisc²这篇论文，提出个体判别代理任务，通过定义正样本、负样本，然后使用对比损失函数，让自监督学习也能应用于图像领域（不需要标签信息也能学习到数据样本的好的表征）。
• InstDisc²通过将每张图片输入卷积神经网络中，编码成一个特征，让这些特征在特征空间（球状空间）中尽可能的分开。以豹子图片为例，正样本：豹子图片+数据增强的豹子图片（旋转、裁剪等），负样本：除了豹子图片以外的所有图片（存储在Memory Bank字典），然后相互对比，更新字典里的特征。

• 之后何凯明提出了MoCo³，谷歌大脑提出了SimCLR⁴，都是基于对比学习，提取视觉表征的网络结构，并且取得了不错的效果，逐渐接近有监督学习。

• 下图是SimCLR的数据增强方法
  

• 下图是SimCLR的网络结构演示。

---

三、对比正则化（CR）

• 对比学习通常是应用于高级视觉任务中，因为像图像分类、检测等适合构建正样本和负样本特征之间的对比。将对比学习应用到低级视觉任务中的还比较少，这篇CVPR2021的论文提出了一种新的像素对比损失方法：对比正则化（Contrastive Regularization，CR）¹
• 主要思想：将通过去雾网络去雾后的图像作为锚点（FFA-Net），清晰图像作为正样本点，有雾图像作为负样本点，将锚点向正样本点方向拉，向负样本点方向推，由此构建一个：对比正则化

四、对比正则化 存在的问题

• 首先，可以看出在共识对比空间进行对比，才能够对比出来“雾”这个特征，在非共识对比空间，本身的图片就是不同的，所以对比出来的特征就不仅仅是“雾”；
• 那么，选择共识空间的图片进行对比，就又会发现一个问题：锚点更加相似于负样本，因为锚点的去雾效果不能达到和清晰图像一样，还是有雾的，比如下图的锚点更加接近超困难负样本的图片。

---

四、创新点：加入课程学习

• 首先，定义负样本为三个难度级别：
• 简单(E) ：含雾图像；
• 困难(H) ：PSNR小于30的去雾图像；
• 超困难(U)：PSNR大于30的去雾图像；

困难和超困难的负样本：由FFA-Net、GDN等固定去雾模型，生成的不同去雾程度的图像

• 然后，定义课程学习：
• 定义简单负样本的权重固定，且最大，推力最大；
• 定义困难负样本和超困难负样本权重：
  
• 先执行困难负样本 1+γ ，权重更大，从而使困难负样本提供更大的推力；
• 然后，随着锚点越来越靠近正样本，超困难负样本执行推力
• 最终的课程对比正则化公式为：
  

课程对比正则化示意图如下所示：

---

五、创新点：物理感知双分支单元

• 目的：提高去雾特征空间的可解释性
• 大气散射模型通常用于描述模糊图像 I 的形成：
• 在数学上可以表示为 I(x) = T(x)J(x) + (1 − T(x))A，其中 J 表示清晰图像，T表示透射图，A表示大气光，x表示像素索引；
• 由于 T 和 A 都是未知的，去雾是一个非常不适定的问题。基于原始空间的方法直接估计两个未知因素，容易导致累积误差；
• 相比之下，在特征空间中施加物理先验可​​以提高与雾化过程一致的可解释性。

1.重新制定了物理模型来表示清晰图像：

2. 一方面，假设大气光是均匀的，在上分支中，使用全局平均池化GAP(·)来消除特征空间中不必要的信息；
3. 另一方面，由于真实图像的大气光是非均匀的，因使用GAP(·)而丢失的信息，在下方分支中，使用一系列卷积层来提取特征；
4. 使用所提出的 PDU，可以从输入特征 M 生成可解释的特征 J，用于恢复含雾图像。

---

六、总结

1. 在本文中，提出了一种用于单幅图像去雾的新型网络结构 C2PNet：
2. 引入共识对比空间的负样本来构建对比样本，然后考虑负样本的难度，使用课程对比正则化来约束更紧凑的解决空间；
3. 为了增强特征空间的可解释性，设计了基于物理模型的物理感知双分支单元。该单元产生的特征被强制符合雾化过程，从而促进去雾。
4. 大量实验证明了所提出方法的有效性和通用性。

在合成雾和真实雾数据集上的定量评估：

在合成雾数据集上的效果展示：

在真实雾数据集上的效果展示：

---

1. Wu H, Qu Y, Lin S, et al. Contrastive learning for compact single image dehazing [C] CVPR:2021 ↩︎ ↩︎

2. Wu Z, Xiong Y, Yu S X, et al. Unsupervised feature learning via non-parametric instance discrimination [C] CVPR:2018 ↩︎ ↩︎

3. He K, Fan H, Wu Y, et al. Momentum contrast for unsupervised visual representation learning [C] CVPR:2020 ↩︎

4. Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations [C] PMLR:2020 ↩︎