Cycle-Dehaze:用于单图像去雾的增强型 CycleGAN(2018_CVPR)

优点:
1、通过非配对方式提供干净和朦胧的图像来训练网络
2、一个端到端网络,不依赖于大气散射模型参数的估计

方法:
1、结合循环一致性和感知损失来增强 CycleGAN 公式
2、由于图像去雾都是低分辨率模型,应用双三次缩减获得低分辨率输出,利用拉普拉斯金字塔将输出图像放大到原始分辨率

循环感知一致性损失 CycleGAN [37] 架构引入了循环一致性损失,它为未配对的图像到图像转换任务计算原始图像和循环图像之间的 L1-范数。然而,原始图像和循环图像之间的这种计算损失不足以恢复所有纹理信息,因为模糊图像大多被严重损坏。循环感知一致性损失旨在通过查看高级和低级特征的组合来保留原始图像结构。
从 VGG16 [29] 架构的第 2 和第 5 池化层中提取,
在 x ∈ X, y ∈ Y 和 generator G : X → Y , generator F : Y → X 的约束下,循环感知一致性损失的公式如下,其中 (x, y) 指 hazy 和 ground truth未配对的图像集和 φ 是来自第 2 和第 5 池化层的 VGG16 [29] 特征提取器:
在这里插入图片描述
循环除雾的完整目标:
与 CycleGAN架构相比,Cycle-Dehaze 有一个额外的损失。因此,Cycle-Dehaze 的目标可以表述如下,其中 LCycleGAN(G, F, Dx, Dy) 是 CycleGAN [37] 架构的全部目标,D 代表鉴别器,γ 控制循环感知一致性损失的影响因子。

意思就是:
1、本文的贡献是为了更好的恢复cycleGan去雾带来的图像损失,增加了VGG网络,多加了一层感知损失。
2、由于去雾网络的输入都是低分辨率的,所以为了减少图像放大恢复时损失,采用拉普拉斯金字塔结构。
在这里插入图片描述

贡献:
• 我们通过在循环一致性损失之外添加循环感知一致性损失来增强用于单图像去雾的 CycleGAN架构。
• 我们的方法在训练和测试阶段既不需要模糊图像和地面实况图像的配对样本,也不需要大气散射模型的任何参数。
• 我们提出了一种简单而有效的技术,通过受益于拉普拉斯金字塔来升级去雾图像。 • 由于其循环结构,我们的方法提供了一个通过跨数据集场景的实验证明的通用模型。

网络:
Cycle-Dehaze 是 CycleGAN 架构的增强版本,用于单图像去雾。为了提高视觉质量指标、PSNR、SSIM,它利用了受 EnhanceNet [25] 启发的感知损失。这种损失的主要思想是在特征空间而不是像素空间中比较图像。因此,Cycle-Dehaze 在两个空间将原始图像与重建的循环图像进行比较,其中循环一致性损失确保高 PSNR 值,而感知损失在特征空间保持图像的清晰度。此外,Cycle-Dehaze 使用传统的拉普拉斯金字塔在主要去雾过程之后提供更好的上采样结果。图 2 显示了 Cycle-Dehaze 架构的整体表示。

猜你喜欢

转载自blog.csdn.net/weixin_44021553/article/details/124333731