DPW-SDNet：用于JPEG压缩图像软解码的双像素小波域深度CNN
Abstract
JPEG是广泛使用的有损压缩方法之一。JPEG压缩图像通常会出现压缩伪影，包括阻塞和模糊，尤其是在低比特率下。软解码是一种在不改变编解码器或引入额外编码位的情况下提高压缩图像质量的有效解决方案。受深度卷积神经网络（CNN）在低层和高层计算机视觉问题上的出色性能的启发，我们开发了一种基于双像素小波域深度卷积神经网络的JPEG压缩图像软解码网络，即DPW-SDNet。像素域深度网络采用压缩图像的四个降采样版本来形成4通道输入并输出像素域预测，而小波域深度网络使用1级离散小波变换（DWT）系数来形成4通道输入以产生DWT域预测。将像素域和小波域估计相结合以生成最终的软解码结果。实验结果表明，与几种最先进的压缩伪影减少算法相比，该DPW-SDNet具有优越性。
1. Introduction
随着智能手机和物联网设备的引入，配备高分辨率摄像头的设备数量在过去几年中显著增加。受传输带宽和存储容量的限制，这些图像和视频被压缩。如图1所示，由于有损压缩过程中的信息丢失，压缩图像通常会出现压缩伪影，尤其是在低比特率下。除了感知质量差之外，压缩伪影还降低了其他处理步骤（如目标检测和分类）的准确性。因此，有必要提高压缩图像的质量。由于JPEG是静止图像常用的压缩标准之一，本文重点研究了JPEG图像的软解码。近年来，许多工作研究了JPEG图像的恢复，旨在消除压缩伪影，提高感知质量和客观评估分数。在文献中，恢复过程通常被称为软解码[21、22]、解块[20、33]或压缩伪影减少[5、10]。在本文中，我们可以互换使用这些术语。受深度卷积神经网络（CNN）在各种计算机视觉问题上的出色性能启发，我们建议基于双像素小波域深度CNN的JPEG压缩图像软解码网络，即DPWSDNet。从图1中可以看出，通过拟议的DPW SDNet恢复的图像，我们可以观察到大多数压缩伪影被移除，一些缺失的纹理被恢复。总的来说，这项工作的主要贡献是双分支深度CNN，它可以减少像素域和小波域中的压缩伪影。更具体地说，我们的贡献有两个方面：
•我们使用双像素小波域深度CNN为JPEG压缩图像开发了一种有效的软解码方法。像素域和小波域预测的结合带来了更好的软解码性能
•我们将压缩图像及其1级离散小波变换（DWT）系数重塑为两个尺寸较小的张量，分别用作像素和小波子网络的输入。通过在两个较小的张量上执行软解码，DPW SDNet在保持效率的同时实现了最先进的性能。
本文的其余部分组织如下。我们将在下一节介绍相关工作。第3节介绍了所提出的软解码算法。第4节展示了实验。最后，第5节总结了本文
2. Related Work
假设X和Y分别为原始未压缩图像和相应的JPEG压缩版本。给定压缩图像Y，软解码的目标是产生尽可能接近原始图像X的估计值。现有的JPEG压缩图像软解码方法可以大致分为三类：基于增强的方法、基于恢复的方法和基于学习的方法。
基于增强的方法通常通过执行像素域或变换域滤波来消除压缩伪影。例如，Foi等人[7]提出了一种基于形状自适应离散余弦变换（DCT）的图像滤波，在压缩图像的去块和去噪方面具有优异的性能。翟等人[31]提出通过在图像块的移位窗口中进行后滤波来减少块效应。在[30]中，作者通过联合DCT域和空域处理开发了一种有效的伪影减少算法。Y oo等人[29]提出了一种基于块间相关性的块伪影减少框架，其中使用不同的策略去除平坦区域和边缘区域中的伪影。
压缩伪影的减少被表述为基于恢复的软解码方法的不适定逆问题，其中关于高质量的先验知识图像、压缩算法和压缩参数用于协助恢复过程[2、4、13、20、21、22、23、24、25、32、33、36、37、38]。例如，在[25]中，原始图像和压缩失真分别建模为高阶马尔可夫随机场和空间相关高斯噪声。非局部自相似性广泛应用于解块算法中。一般来说，低秩[20、24、33、36]和群稀疏表示[32、38]被应用于对该特性建模。在[2，21，22，23，32，38]中，稀疏性被用作图像，然后对恢复的图像进行正则化。图模型用于[13]和[21]中提出的解块方法。在一些作品[21、22、33、36、38]中，DCT系数的量化约束被应用于抑制合成图像。特别是，Dar等人[4]设计了一种基于序列去噪的软解码算法，其中使用现有最先进的去噪方法来构造正则化。总的来说，由于复杂的优化过程，大多数基于恢复的软解码方法在一定程度上是耗时的
最近，基于深度学习的方法取得了良好的结果[1、3、5、8、9、10、19、27、34]。董等人[5]在超分辨率网络[6]的基础上，开发了一种用于减少压缩伪影的浅层CNN。[5]的作者发现，在低水平视觉任务中，很难训练超过四层的网络。为了解决这个问题，Kim等人[17]引入了残差学习技术，并为单图像超分辨率设计了一个由二十层组成的非常深的网络。在[34]中，张等人通过结合残差学习和批量归一化，提出了一个非常深入的网络，用于一系列一般的图像去噪问题，包括去噪、超分辨率和去块。李等人[19]将跳跃连接和剩余学习相结合，以简化网络训练过程。Cavigelli等人[1]开发了具有多尺度损耗函数的深度压缩伪影减少网络。在[3]中，陈和波克提出了一种可训练的非线性反应扩散模型，用于有效的图像恢复。受双DCT像素域稀疏编码[22]成功的启发，[9]和[27]的作者设计了用于JPEG图像去块的双域网络。最近，一些工作旨在提高压缩图像的感知质量[8，10]。总的来说，基于深度学习的方法在恢复性能和运行时间方面都明显优于传统的软解码方法
受超分辨率小波域网络的成功[11，14]的启发，本文提出了一种用于JPEG压缩图像软解码的双像素小波域深度CNN。拟议DPWSDNet在以下方面不同于以往基于深度学习的软解码算法：1） DPW SDNet由两个并行分支组成，分别在像素域和小波域执行恢复。2） DPW-SDNet采用两个张量作为网络输入，而不是原始压缩图像和DWT系数。实验表明，DPW-SDNet在JPEG压缩图像上实现了具有竞争力的恢复性能和执行速度。此外，将拟议的DPW SDNet扩展到其他压缩标准是直接的。
3. Proposed DPW-SDNet
如图2所示，拟议的DPW SDNet由两个并行分支组成：像素域软解码分支和小波域软解码分支。像素域分支中的网络（即P-SDNet）直接去除像素域中的压缩伪影，而小波域分支中的网络（即W-SDNet）在小波域中执行恢复。将像素域和小波域估计相结合以生成最终的软解码结果。注意，我们不直接使用原始压缩图像及其DWT子带作为两个子网络的输入。在以下各节中，将介绍有关DPW SDNet的更多详细信息。为了方便起见，我们假设输入Y是大小为m×n的灰度图像，其中m，n均为偶数。
3.1. The Pixel Domain Branch
在像素域分支中（如图2下半部分所示），首先对压缩图像Y进行降采样，以生成四个大小m2×n2的降采样子图像。由于我们必须恢复与输入大小相同的图像，因此在此过程中使用了可逆降采样策略，如上图所示，分别采样以形成四个不同的子图像，这些子图像串联起来构成大小为m/2×n/2×4的张量。然后，将张量馈入像素域深度CNN。使用较小的张量作为深度CNN的输入至少可以实现两个好处。首先，较小的输入意味着较低的计算复杂度。此外，对下采样图像进行处理可以扩大感受野，这有利于恢复过程。
......
3.2. The Wavelet Domain Branch
小波域分支的框架类似于像素域分支。给定压缩图像Y，我们首先进行1级二维离散小波变换（2D-DWT），并获得其四个子带系数。每个子带的大小为m 2×n 2。类似地，将四个子带串联起来，构成大小为m/2×n/2×4的张量，用作小波域深度CNN（即W-SDNet）的输入。通过连接四个子带，可以融合不同子带中的信息，同时保持它们之间的一致性。此外，可以降低计算成本。
W-SDNet的架构设置为与P-SDNet相同，包括网络深度、内核数量和内核大小。因此，我们不详细介绍WSDNet以避免冗余。这两个子网络之间的主要区别在于，W-SDNet预测小波系数残差，而P-SDNet预测像素强度残差。相应地，W-SDNet的训练损失函数定义为：
W-SDNet输出中的四个特征映射是软解码图像的小波子带。因此，对这些系数执行二维逆离散小波变换（2D-IDWT）以产生小波域估计。
3.3. The Combination of the Dual-Branch
如上所述，像素域和小波域分支都产生输入图像的软解码版本。由于这两个预测是在不同的空间中生成的，因此它们具有各自的特点。因此，将它们结合起来可以进一步提高恢复性能。有许多方法可以融合这两个中间结果。例如，我们可以设计一个具有2通道输入和1通道输出的网络来将它们结合起来。考虑到计算复杂度，从对偶域导出的两个估计简单地加权，以生成本工作中的最终输出。