Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing(用于单幅图像的去雾增强型CycleGAN)

简介:

在本文中,我们提出了一种端到端的网络,称为Cycle Dehaze,用于解决单幅图像的去雾问题,该网络不需要对模糊图像和相应的地面真实图像进行训练。换言之,我们通过以不成对的方式提供干净和模糊的图像来训练网络。此外,该方法不依赖于大气散射模型参数的估计。我们的方法通过结合周期一致性和感知损失来增强CycleGAN公式,以提高纹理信息恢复的质量,并生成视觉上更好的无雾图像。通常情况下,用于去雾的深度学习模型将低分辨率图像作为输入,并产生低分辨率输出。然而,在2018年NTIRE关于单图像去雾的挑战中,提供了高分辨率图像。因此,我们采用双三次降尺度。

具体工作:

在这项工作中,我们通过聚合循环一致性和感知损失利用CycleGAN架构引入Cycle-Dehaze网络。我们的主要目的是建立一个端到端的网络,无论单个图像去雾的大气散射模型如何。为了将输入图像输入到我们的网络中,通过双三次缩减将它们调整为256×256像素分辨率。在对输入图像进行去雾后,将双三次升级到其原始大小不足以估计丢失的信息。为了能够获得高分辨率图像,我们采用了一种基于拉普拉斯金字塔的简单上采样方法。我们在D-HAZY的NYU-Depth部分和单图像去雾数据集上的NTIRE 2018挑战中进行实验:I-HAZE和O-HAZE。根据我们的结果,Cycle-Dehaze实现了比CycleGAN架构更高的图像质量指标。此外,我们分析了Cycle-Dehaze在跨数据集场景中的表现,也就是说,我们在训练和测试阶段使用不同的数据集。

网络结构:

上图是Cycle-Dehaze 网络的架构,其中 G & F 指代生成器,Dx & Dy 指代判别器。 为了清楚起见,将表示分为两部分:模糊到清晰的图像和清晰到模糊的图像。

Cycle-Dehaze架构由两个生成器G,F和两个鉴别器Dx,Dy组成。 除了常规鉴别器和生成器损失之外,为了增加/添加雾度,从该架构循环一致性和循环感知一致性损失的组合中获益。 结果,该架构保留输入图像的纹理信息并产生无雾输出。 另一方面,追求循环一致性和感知性损失之间的平衡并非易事。 给感知损失过重会导致去雾过程后颜色信息的丢失。 因此,循环一致性损失需要具有比感知损失更高的权重。

主要贡献:
1. 通过增加循环感知 一致性损失以及循环一致性损失来增强用于单图像去雾的CycleGAN架构;
2. 我们的方法既不需要模糊和真实图像的样本,也不需要在训练和测试阶段的任何大气散射模型参数;
3. 我们提出了一种简单而有效的技术,通过拉普拉斯金字塔来放大带雾图像;
4. 由于其循环结构,我们的方法提供了一个通用模型,可以通过跨数据集场景的实验证明。

结果对比:

Cycle Dehaze架构在室内场景中捕获的数据集上的跨数据集定量结果:

扫描二维码关注公众号,回复: 15140868 查看本文章

  

结论:

我们提出了一个名为 Cycle-Dehaze 的单图像去雾网络,它直接从有雾的输入图像中生成无雾图像,而无需估计大气散射模型的参数。此外,我们的网络以非配对方式提供了模糊和地面真实图像的训练过程。为了保持无雾图像的高视觉质量,我们通过将 CycleGAN 架构的循环一致性损失与感知损失相结合来改进它。 Cycle-Dehaze 将低分辨率图像作为输入,因此它需要缩小输入作为预处理步骤。为了在调整大小时减少图像失真,我们使用拉普拉斯金字塔来放大低分辨率图像,而不是直接使用双三次放大。实验结果表明,与 CycleGAN 架构相比,我们的方法产生了视觉上更好的图像,并获得了更高的 PSNR 和 SSIM 值。此外,我们对跨数据集场景进行了额外的实验,以证明我们的模型在不同领域的普遍性。

猜你喜欢

转载自blog.csdn.net/zhangmeili_9/article/details/122977295