Stacked-GAN去雾(Deep Learning based Single Image Dehazing)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_24477135/article/details/85760639

原文链接:Deep Learning based Single Image Dehazing(可以自己注册账号下载)

本文贡献:

1、提出了一种利用叠加条件生成对抗网络(GAN)去除RGB图像中雾霾的新方法。它使用一个GAN三元组独立地去除每个颜色通道上的雾霾。

2、提出了一种基于条件概率模型的多损失函数方案。

3、提出的GAN架构学会了去除雾霾,以雾霾图像作为条件入口,从中获得清晰的图像。该公式保证了快速的模型训练收敛性和均匀的模型泛化。

模型架构:

在该体系结构中,基本增加了新的学习层,增加了学习层的深度,学习模型分别由卷积网络、去卷积网络、relu网络、leaky relu网络、全连通网络和激活函数tanh网络、sigmoid网络组成。此外,该模型的每一层都使用批处理归一化来训练任何类型的映射,这些映射由具有元素非线性的仿射变换的多个组合组成,并且不受饱和模式的限制。在生成器模型中,空间信息的维护是非常重要的,没有池化和退出层,仅使用1的步幅来避免图像形状的缩小。为了防止过拟合,我们在生成器模型中添加了l1正则化项(),这种正则化的特殊性在于,权值矩阵最终只使用了它们最重要输入的一个小子集,并且对输入中的噪声非常敏感。

发生器(G)和鉴别器(D)都是前馈的深层神经网络,它们相互之间进行最小-最大博弈。发生器以雾霾图像的每个通道作为输入,将其转换为我们想要模拟的数据的形式,在我们的例子中是一个RGB清晰图像。鉴别器以一组数据作为输入,这些数据要么是真实的图像(z),要么是生成的图像(G(z)),并产生该数据是真实的概率(P(z))。

生成对抗网络生成解决方案,而不是找到一个函数;基于这一原理,作者们提出了一种多重损失的堆叠式网络结构,以改进泛化学习模型,加速在多层次训练中获得的多样性。在生成器网络的每一层都增加了l1正则化项,以防止各系数的拟合过于完美,从而使模型的泛化具有更强的鲁棒性;此外,它还有助于减少接触到训练较好的网络的时间。

选择基于堆叠条件网络的体系结构是因为:

1、引入到网络中的输入来自一个条件预定义的潜在空间,该潜在空间优化了从生成器模型中获得的更高级别特性;

2、体系结构在竞争环境中推断模型,直到达到一定的精确度

3、鉴别器网络是生成模型的完美损失函数

4、具有快速收敛能力

组合损失函数:

对抗性损失加上强度损失the adversarial loss plus the intensity loss(MSE) +the structural loss(SSIM) + the image quality loss(IQ)

对抗损失:

D是判别器,G是生成器。I_{z|y}是噪声,I_{x|y}是真是图像

强度损失:

RGBe_{i,j}是估计的RGB表示,RGBg_{i,j}是真实的RGB图像。这种损失是在不考虑纹理和内容比较的情况下测量图像之间像素强度的差异。这种损失可以惩罚较大的错误,但更能容忍较小的错误,而不考虑图像中的特定结构。

下面的损失可以参考这篇文章:https://blog.csdn.net/qq_24477135/article/details/85321166

结构相似度损失SSIM:

IQ损失:

最终的损失:

训练细节:

由于Stacked-GAN网络非常适合于数据和或参数很大的问题,非常适合于非平稳目标和非常噪声或稀疏梯度的问题,因此使用随机AdamOptimazer对其进行了训练。此外,超参数具有直观的解释,通常需要更少的调优,防止过拟合,并导致更快的收敛。此外,该算法计算效率高,内存需求小,对梯度的对角缩放不影响。图像数据集归一化在(-1,1)范围内。在训练过程中使用了以下超参数:G的学习率为0.00002,D网络的学习率为0.00004;ε= 1 e-08;衰减率为0.3. 权重初始化的标准偏差0.0004582,使用L1正则化,权重衰减指数1e-2, leaky relu 参数为0.18,patch大小32x32.

优化:为了提高对真实数据(给定图像的地面真值)的高概率和对生成的虚假数据(错误澄清的雾霾图像)的低概率的可能性,对鉴别器进行了优化;因此,条件鉴别器网络更新如下:

其中m为每批patch的个数,x为ground truth图像,y为网络生成的无雾图像(RGB), z为随机高斯采样噪声。

通过提升鉴别器网络的随机梯度来更新鉴别器网络(D)的权值。另一方面,对生成器进行优化,以提高生成的数据被高度评价的概率,更新如下:

实验结果:

总结:

本文利用一种新的叠加条件生成对抗网络模型,解决了雾霾图像生成清晰RGB表示的难题。结果表明,在大多数情况下,网络能够获得可靠、清晰的RGB表示。如前所述在讨论部分,这种方法限制,需要地面实况图像没有阴霾的培训,作为未来的工作,实际上,作为正在进行的工作,我们提出了使用类似GAN架构,但饲料与近红外光谱图像鉴别器来克服这个限制。今后的工作还将考虑其他损失函数,以改进培训过程。

想说的:这是利用GAN在去霾领域的应用,相同的还有CycleGAN等。至于问题啥的还看不出来,处于学习过程。

猜你喜欢

转载自blog.csdn.net/qq_24477135/article/details/85760639
今日推荐