《NTIRE 2020 Challenge on Real Image Denoising: Dataset, Methods and Results》阅读

看这篇论文的原因,想了解一下这个比赛以及这个比赛中比较好的去噪模型。以下就是简单的翻译了一下,方便自己回顾。

摘要

本文重点介绍了NTIRE 2020在真实图像去噪方面的挑战,重点是新引入的数据集,提出的方法及其结果。 挑战是以前的NTIRE 2019基于SIDD基准的真实图像降噪挑战的新版本。 这项挑战基于新收集的验证和测试图像数据集,因此命名为SIDD +。
   这一挑战有两个方面,它们可以定量评估(1)Bayer模式rawRGB和(2)标准RGB(sRGB)颜色空间中的图像降噪性能。
   每个曲目约250名注册参与者。 挑战的最后阶段共有22个团队(提出24种方法)参加了比赛。 参与团队提出的方法代表了针对实际嘈杂图像的图像去噪的最新技术性能。 新收集的SIDD +数据集可在以下网址公开获取:https://bit.ly/siddplus_data。

1.介绍

       图像降噪是基础和活跃的研究领域(例如[39、47、48、15]),在计算机视觉领域(例如[21、24])具有悠久的历史。 图像去噪的主要目标是出于美学目的或帮助改善其他下游任务而去除或校正图像中的噪声。 多年以来,研究人员主要依靠合成噪声图像来开发和评估图像降噪器,尤其是加性高斯白噪声(AWGN),例如[9,11,47]。 近来,更多的注意力集中在评估真实噪声图像上的图像降噪器[3、36、4]。 为此,我们提出了这一挑战,作为一种评估和基准测试真实噪声图像上的图像降噪器的方法。
       这项挑战是智能手机图像降噪数据集(SIDD)基准测试[3]的新版本,具有新收集的验证和测试数据集,因此命名为SIDD +。 原始的SIDD由原始传感器数据(rawRGB)和标准RGB(sRGB)颜色空间中的成千上万个真实的噪点图像组成,并具有估计的真实性。在这一挑战中,我们提供了两条轨迹,分别在rawRGB和sRGB颜色空间中对图像降噪器进行基准测试。在下一部分中,我们将提供有关这两个轨道的更多详细信息。

2.挑战

       该挑战是NTIRE 2020相关挑战之一,其中包括:去模糊[34],非均匀去雾[5],可感知的极端超分辨率[46],视频质量映射[14],真实图像去噪[2],真实世界超级分辨率[32],根据RGB图像的光谱重建[7]和降级[45]。NTIRE 2020实像去噪挑战赛是先前NTIRE 2019挑战赛的延伸[4]。 两项挑战均旨在衡量和推进图像去噪的最新技术。 挑战的重点在于评估真实(而非合成)噪点图像上的图像降噪器。 接下来,我们介绍有关此版本挑战中使用的新数据集以及如何设计挑战的一些详细信息。

2.1.数据集

       SIDD数据集[3]用于提供挑战的训练图像。  SIDD数据集包含来自十个不同场景的数千个真实的噪点图像及其相应的地面真实性,并使用五台不同的智能手机相机在不同的照明条件和ISO级别下反复捕获。  ISO级别从50到10,000。 图像以rawRGB和sRGB颜色空间提供。为了进行验证和测试,我们按照与生成SIDD验证和测试数据集所使用的过程类似的步骤,收集了2048张图像的新数据集。

2.2. 挑战设计与轨道

        轨道 我们提供了两个轨道,以基于两种不同的颜色空间(rawRGB和sRGB)对建议的图像降噪器进行基准测试。  rawRGB格式的图像表示直接从相机传感器获取的经过最少处理的图像。 这些图像位于与传感器相关的颜色空间中,其中R,G和B值与传感器的滤色器阵列对入射可见光的光谱敏感性有关。  sRGB格式的图像代表相机的原始RGB图像,这些图像已由相机内图像处理管道处理以将与传感器相关的RGB颜色映射到与设备无关的色彩空间,即标准RGB(sRGB)。 不同型号的相机会应用自己专有的照片处理例程,包括几种非线性颜色处理,以修改rawRGB值以使其看起来更具视觉吸引力(有关更多详细信息,请参见[20])。 我们注意到,所提供的sRGB图像未压缩,因此不显示压缩伪像。对rawRGB进行降噪通常会表示在相机内图像处理管道内应用的降噪模块。 对sRGB图像进行降噪将表示在相机内进行颜色操作后应用的降噪模块。 正如最近的工作[4、3、36]中发现的那样,图像降噪器在rawRGB颜色空间中的表现往往要好于sRGB颜色空间。但是,rawRGB图像远不如sRGB图像常见,后者很容易以JPEG和PNG等常见格式保存。 由于SIDD数据集同时包含同一图像的rawRGB和sRGB版本,因此我们发现为每个颜色空间中的降噪提供单独的轨道是可行的。 这两个赛道都遵循类似的数据准备,评估和比赛时间表,如下所述。

       数据准备 所提供的训练数据是SIDD-Medium数据集,该数据集由rawRGB和sRGB空间中的320张噪声图像以及相应的地面真实情况和元数据组成。 每个有噪点或地面真实图像是[0,1]归一化rawRGB值的二维数组(马赛克彩色滤镜数组)。以单精度浮点格式保存为Matlab .mat文件。 元数据文件包含rawRGB图像的Tiff标签的字典,另存为.mat文件。

       我们按照类似于SIDD [3]中使用的过程收集了一个新的验证和测试数据集,因此,我们将新数据集命名为SIDD +。

       SIDD +验证集由形成rawRGB和sRGB图像的1024个噪点图像块(即裁剪)组成,每个块为256×256像素。 这些块是从32个图像中获取的,每个图像有32个块(32×32 = 1024)。 所有图像块都合并为单个4D形状的数组[1024,256, 256],其中每个连续的32个图像都属于同一图像,例如,前32个图像属于第一个图像,依此类推。 这些块具有与训练数据相同的数字格式。 同样,SIDD +测试集由来自不同图像集的1024个噪点图像块组成,但遵循与验证集相同的格式。 还为所有64张图像提供了图像元数据文件,从中提取了验证和测试数据。 所有新创建的验证和测试数据集都是公开可用的。

       我们还提供了用于将SIDD数据集1的RawRGB图像渲染为sRGB的模拟相机管道。 提供的管线提供了一组类似于车载摄像头管线的处理阶段。 这些阶段包括:黑色电平减法,有效区域裁剪,白平衡,色彩空间转换和全局色调映射。

        评估  评估是基于还原后的干净(去噪)图像与真实图像的比较。 为此,我们使用标准峰值信噪比(PSNR)和互补的结构相似性(SSIM)指数[41]  。在大多数图像处理工具箱中都可以找到实现。 我们报告提供的所有图像块的平均结果。

       为了提交结果,要求参与者以与输入数据相同的方式(即[1024,256,256])以多维阵列形式提供去噪图像块。 此外,还要求参与者提供其他信息:算法每百万像素的运行时间(以秒为单位); 该算法在运行时采用CPU还是GPU; 是否将额外的元数据用作算法的输入。

      在挑战的最后阶段,要求参与者提交情况说明书,以提供有关团队的信息并描述他们的方法。

      时间     线挑战时间线分为两个阶段。 验证阶段于2019年12月20日开始。最终测试阶段于2020年3月16日开始。在验证和测试阶段,每个参与者分别被允许最多提交20和3份意见书。 挑战于2020年3月26日结束。

3.挑战结果

       每个阶段大约有250名注册参与者,有22个团队进入了最后阶段并提交了结果,代码/可执行文件和情况说明书。 表1和表2分别以raw RGB和sRGB轨道的峰值信噪比(PSNR)和结构相似性(SSIM)指数[41]表示了最终的测试结果。 下表显示了基于下标中每个度量的方法等级。我们介绍了参与者提交的情况说明书中提供的自我报告的运行时和主要详细信息。 图1和2分别显示了RawRGB和sRGB轨迹中所有方法的PSNR和SSIM值的2D可视化。 对于组合的可视化,两个图都覆盖在图3中。方法在第4节中进行了简要说明,团队成员在附录A中列出。

       主要思想 所有提出的方法都是基于深度学习的。 具体而言,所有方法都采用基于各种架构的卷积神经网络(CNN)。 大多数适应的体系结构都基于广泛使用的网络,例如U-Net [37],ResNet [16]和DenseNet [19]。 主要思想包括重组现有网络,引入跳过连接,引入剩余连接以及使用密集连接的组件。 已经使用了其他策略,例如图像降噪[6],无空间金字塔金字塔池(ASPP)[10]和神经结构搜索(NAS)[13]等。

[6] S. Anwar and N. Barnes. Real image denoising with feature attention. In Proceedings of the IEEE International Conference on Computer Vision, pages 3155–3164, 2019. 3, 9

[10] L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam. Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proceedings of the European conference on computer vision (ECCV), pages 801–818, 2018. 3, 5, 6

[13] T. Elsken, J. H. Metzen, and F. Hutter. Neural architecture search: A survey. arXiv preprint arXiv:1808.05377, 2018. 3

[16] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 3, 5,8

19] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger.Densely connected convolutional networks. In CVPR, pages
4700–4708, 2017. 3

[37] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pages 234–241. Springer, 2015. 3, 6, 8

[42] Z. Wang, E. P. Simoncelli, and A. C. Bovik. Multiscale structural similarity for image quality assessment. In Asilomar
Conference on Signals, Systems & Computers, volume 2, pages 1398–1402. IEEE, 2003. 3

       大多数团队使用L1损失作为优化函数,而一些团队则使用L2损失或在L1,L2,多尺度结构相似性(MSSSIM)[42]和/或拉普拉斯梯度之间采用混合损失。

       最佳结果在PSNR和SSIM方面,最佳方法取得了非常接近的性能。 在rawRGB轨道中,前两种方法在PSNR方面相距0.01 dB,而在sRGB轨道中,前三种方法在PSNR方面相差约0.1 dB,如图1和2所示。  SSIM值的差异相似地接近。 在PSNR(用于挑战的主要性能指标)方面,由百度研究视觉和HITVPC&HUAWEI团队提出了用于RawRGB去噪的最佳两种方法,分别达到了57.44 dB和57.43 dB PSNR,而提出了用于sRGB去噪的最佳方法 由Eraser团队提供,并实现了33.22 dB的PSNR。 就SSIM而言,作为补充性能指标,三星SLSI MSL团队提出了最佳的RawRGB去噪方法,并获得了0.9979的SSIM指数,而橡皮擦团队则获得了sRGB降噪的最佳SSIM指数。

集成:为了提高性能,大多数方法采用了不同风格的集成技术。 具体来说,大多数团队使用一种自集成[40]技术,将同一图像的八个翻转/旋转版本的结果平均在一起。 一些团队应用了附加的模型集成技术。

[40] R. Timofte, R. Rothe, and L. Van Gool. Seven ways to improve example-based single image super resolution. In CVPR, pages 1865–1873, 2016. 4

结论:通过对提出的结果进行分析,我们可以得出结论,所提出的方法在SIDD +基准上实现了真实图像去噪的最新性能。 顶级团队(即HITVPC&HUAWEI,百度研究视觉,橡皮擦和Alpha)提出的顶级方法可在两种颜色空间(即rawRGB和sRGB)上实现一致的性能(请参见图3)。

4. 方法和团队

4.1. HITVPC&HUAWEI

从原始网络和连体网络中提取知识以进行真实图像降噪:该团队使用了蒸馏知识和NAS(神经体系结构搜索技术)来提高去噪性能。所提出的网络是基于MWCNN [26]和ResNet [16]来提出mwresnet(多级小波resnet)。 该团队使用提议的网络通过NAS技术设计了连体网络。 在蒸馏知识阶段,两个网络可以互相补充以提高去噪性能。 在最后的降噪阶段仅使用连体网络。 该团队提出的网络架构如图4所示。

[16] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 3, 5,8

[26] P. Liu, H. Zhang, K. Zhang, L. Lin, and W. Zuo. Multi-levelwavelet-cnn for image restoration. In Proceedings of the
IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 773–782, 2018. 5

4.2. Baidu Research Vision

基于神经架构搜索(NAS)的用于图像去噪的密集残差网络:百度研究视觉团队首先提出了一个密集的残差网络,其中包括多种类型的跳过连接,以学习不同分辨率的特征。  PaddlePaddle [1]中进一步实现了一种新的基于NAS的方案,以分别搜索密集残差块的数量,块的大小和特征的数量。 所提出的网络在sRGB轨道上实现了良好的去噪性能,而添加的NAS方案在rawRGB轨道上实现了令人印象深刻的性能。 该团队提出的神经网络和分布式SA-NAS的架构如图5所示。

[1] Parallel distributed deep learning platform. https://github.com/PaddlePaddle/, 2019. 5

4.3. Eraser

用于图像去噪的U-in-U迭代网络(UinUNet)团队修改了DIDN中的向下模块和连接[44]。 下采样和上采样层插入两个模块之间,以构造更多层次的块连接。 两级下拉模块(UUB)中包含几个三级下拉单元(DUU)。团队提出的UinUNet架构如图6所示。

[44] S. Yu, B. Park, and J. Jeong. Deep iterative down-up CNN for image denoising. In CVPR Workshops, 2019. 5, 7

核注意CNN图像去噪(KADN)受到选择性内核网络(SKNet)[22],DeepLab V3 [10]和密集连接的图像去噪分层网络(DHDN)[35]的启发。  DHDN的DCR块被内核注意(KA)块替换。  KA块采用DeepLab V3的无空间金字塔金字塔池(ASPP)的概念来应用SKNet的思想,该思想从不同的卷积内核中动态选择特征。 该团队提出的KADN架构如图7所示。

[10] L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam. Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proceedings of the European conference on computer vision (ECCV), pages 801–818, 2018. 3, 5, 6

[22] X. Li, W. Wang, X. Hu, and J. Yang. Selective kernel networks. In Proceedings of the IEEE conference on computer
vision and pattern recognition, pages 510–519, 2019. 5, 8

[35] B. Park, S. Yu, and J. Jeong. Densely connected hierarchical network for image denoising. In CVPR Workshops, 2019. 5,

4.4. Alpha

用于图像恢复任务的增强型非对称卷积块(EACB)[28]基于ACB [12],该团队增加了两个额外的对角卷积以进一步增强内核骨架。 对于图像恢复任务,他们删除了批处理归一化层和偏置参数以获得更好的性能,并使用余弦退火学习速率调度器[31]来防止梯度爆炸。 他们使用简单版本的RCAN [49]作为主干。 具体修改如下:(1)卸下所有通道注意(CA)模块。 过多的CA导致培训和测试时间的增加,并且几乎没有改善性能。  (2)卸下升采样模块,以使所有功能均保持相同大小。  (3)增加全局残差以增强网络的稳定性,并使网络在训练的早期阶段达到更高的性能。

[12] X. Ding, Y. Guo, G. Ding, and J. Han. Acnet: Strengthening the kernel skeletons for powerful cnn via asymmetric convolution blocks. In Proceedings of the IEEE International Conference on Computer Vision, pages 1911–1920, 2019. 6

[31] I. Loshchilov and F. Hutter. SGDR: Stochastic gradient descent with warm restarts. 2016. 6

[49] Y. Zhang, K. Li, K. Li, L. Wang, B. Zhong, and Y. Fu. Image super-resolution using very deep residual channel attention
networks. In ECCV, pages 286–301, 2018. 6

4.5. Samsung SLSI MSL

基于多尺度残差密集块和带块级联U-Net的实时图像降噪[8]团队使用了三个网络:残差密集网络(RDN)[51],多尺度残差密集网络(MRDN)和级联U  -Net [37],带有剩余密集块(RDB)连接(CU-Net)。 受Atrous空间金字塔合并(ASPP)[10]和RDB的启发,该团队设计了多尺度RDB(MRDB),以利用组件块中的多尺度功能并构建了MRDN。 该团队设计了UNet带块连接(U-Net-B)而不是跳过连接,以利用附加的神经模块(即RDB)连接编码器和解码器。 他们还提出并使用噪声置换来进行数据扩充,以避免模型过度拟合。该团队提出的MRDN的网络架构如图8所示,而CU-Net则在[8]中进行了详细说明。

[8] L. Bao, Z. Yang, S. Wang, D. Bai, and J. Lee. Real image denoising based on multi-scale residual dense block and cascaded U-Net with block-connection. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
Workshops, 2020. 6

[37] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pages 234–241. Springer, 2015. 3, 6, 8

[51] Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu. Residual dense network for image super-resolution. In CVPR, pages
2472–2481, 2018. 6

4.6. ADDBlock

用于真实图像降噪的PolyU-Net(PUNet)该团队利用了用于对象检测的复合骨干网(CBNet)体系结构[30]的想法。 他们使用Unet架构[35]作为其PolyU-Net(PUNet)的骨干。 他们与CBNet相比,仅在增加主干之间就建立了循环连接,而没有进行过采样操作,从而防止了主干原始信息的失真。 此外,与CBNet相反,通过在骨干网络中共享权重可以获得略微的性能提升。 该团队提出的网络架构如图9所示。

[35] B. Park, S. Yu, and J. Jeong. Densely connected hierarchical network for image denoising. In CVPR Workshops, 2019. 

4.7. Tyan

并行U-net用于实像去噪:该团队提出了并行U-net,以便同时考虑全局和逐像素降噪。 两种U网络以并行方式组合在一起:一种是传统的U网络,由于其具有良好的接收力,因此可进行全局降噪;另一种是采用散布卷积的U网络来代替合并操作; 保留要素图的大小。 两个U网分别获取相同的输入噪点图像,并将它们的输出级联,然后进行1x1卷积以生成最终的干净图像。 该团队提出的网络架构如图10所示。

4.8. UIUC IFP

使用U-Net作为ResNet块进行真实图像降噪该团队将[25,53]中提出的多个U-Net模型串联在一起。 每个U-Net模型都被视为残差块。 该团队在模型中使用了八个残差块。 模型集合用于改善性能。 具体来说,该团队训练了十个单独的模型,并部署了在验证集上获得最佳结果的前三个模型。 在测试阶段,团队首先应用旋转和翻转操作来增强每个测试图像。 然后,将融合操作应用于从这三个高性能模型获得的结果。

[25] J. Liu, C.-H. Wu, Y. Wang, Q. Xu, Y. Zhou, H. Huang, C. Wang, S. Cai, Y. Ding, H. Fan, and J. Wang. Learning raw image denoising with bayer pattern normalization and bayer preserving augmentation. In CVPR Workshops, 2019.7

[53] Y. Zhou, D. Ren, N. Emerton, S. Lim, and T. Large. Image restoration for under-display camera. arXiv preprint
arXiv:2003.04857, 2020. 7

4.9. NJU-IITJ

通过色彩校正学习RAW图像降噪团队根据每个通道的最大值调整了对Bayer图案通道的缩放比例。 他们使用Bayer统一[25]进行数据扩充,并选择深度迭代下行CNN网络(DIDN)[44]作为其去噪的基本模型。

[25] J. Liu, C.-H. Wu, Y. Wang, Q. Xu, Y. Zhou, H. Huang, C. Wang, S. Cai, Y. Ding, H. Fan, and J. Wang. Learning raw image denoising with bayer pattern normalization and bayer preserving augmentation. In CVPR Workshops, 2019.7

[44] S. Yu, B. Park, and J. Jeong. Deep iterative down-up CNN for image denoising. In CVPR Workshops, 2019. 5, 7

4.10. Panda

金字塔实像去噪网络该团队提出了金字塔实像去噪网络(PRIDNet),该网络包含三个阶段:(1)噪声估计阶段,它使用通道注意机制来重新校准输入噪声的通道重要性;  (2)在多尺度降噪阶段,利用金字塔池提取多尺度特征。  (3)特征融合阶段采用核选择运算来自适应融合多尺度特征。该团队提出的PRIDNet架构如图11所示。

4.11. Rainbow

用于图像去噪的密集自导波小波网络[29]团队提出了一种自顶向下的自导体系结构,以利用图像多尺度信息。提取低分辨率信息,并将其逐步传播到高分辨率子网中,以指导特征提取过程。 该团队使用离散小波变换(DWT)和逆离散小波变换(IDWT)分别进行了上采样和下采样,而不是进行像素混洗/去混洗。使用的损耗是L1和拉普拉斯梯度损耗之间的组合。 该团队提出的网络架构如图12所示。

[29] W. Liu, Q. Yan, and Y. Zhao. Densely self-guided wavelet network for image denoising. In The IEEE Conference on
Computer Vision and Pattern Recognition (CVPR) Workshops, 2020. 7

4.12. TCL Research Europe

用于图像降噪的神经体系结构搜索[33]团队提出了一个由3 5个子网络组成的集成模型。 提出了两种类型的子网:(1)基于超级内核的多注意残量U-Net和(2)超级内核SkipInit残量U-Net。 团队使用的超级内核方法基于[38]。

[33] M. Mozejko, T. Latkowski, L. Treszczotko, M. Szafraniuk, and K. Trojanowski. Superkernel Neural Architecture Search
for Image Denoising. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2020. 7

[38] D. Stamoulis, R. Ding, D. Wang, D. Lymberopoulos,B. Priyantha, J. Liu, and D. Marculescu. Single-path nas: Designing hardware-efficient convnets in less than 4 hours. arXiv preprint arXiv:1904.02877, 2019. 7

4.13. BOE-IOT-AIBD

利用统一的拜耳模式和多尺度策略对原始图像进行降噪该团队利用金字塔降噪网络[52]和拜耳模式统一技术[25],其中根据元数据信息将所有输入的嘈杂rawRGB图像统一为RGGB拜耳模式。 然后将输入传递到“挤压和激发”模块[18]中以提取特征并将权重分配给不同的通道。 应用了多尺度浓缩块和选择性核块[22]。 该团队提出的网络架构如图13所示。

[18] J. Hu, L. Shen, and G. Sun. Squeeze-and-excitation networks. In Proceedings of the IEEE conference on compute vision and pattern recognition, pages 7132–7141, 2018. 8

[22] X. Li, W. Wang, X. Hu, and J. Yang. Selective kernel networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 510–519, 2019. 5, 8

[25] J. Liu, C.-H. Wu, Y. Wang, Q. Xu, Y. Zhou, H. Huang, C. Wang, S. Cai, Y. Ding, H. Fan, and J. Wang. Learning raw image denoising with bayer pattern normalization and bayer preserving augmentation. In CVPR Workshops, 2019.7

[52] Y. Zhao, Z. Jiang, A. Men, and G. Ju. Pyramid real image denoising network. arXiv preprint arXiv:1908.00273, 2019.7

4.14. LDResNet

用于图像去噪的混合膨胀残差网络该团队通过堆积配备了多个膨胀卷积和跳过连接的膨胀和残差(DR)块,设计了一个深度和广泛的网络。 除了给定的干净噪声图像对之外,该团队还利用了多余的不干净图像对作为在SIDD数据集训练数据的地面真实图像上添加一些噪声的方法。 团队提出的网络架构如图14所示。

4.15. EWHA-AIBI

利用小波域损失进行降噪该团队使用了增强的深度残差网络EDSR [23]架构,该架构具有全局残差跳过和输入,并通过固定小波变换分解并在小波变换域中使用了损失。 为了加速网络性能,每四个res块添加一次频道关注[43]。

[23] B. Lim, S. Son, H. Kim, S. Nah, and K. Mu Lee. Enhanced deep residual networks for single image super-resolution. In
CVPR Workshops, pages 136–144, 2017. 8

[43] S. Woo, J. Park, J.-Y. Lee, and I. So Kweon. CBAM: Convolutional block attention module. In ECCV, pages 3–19, 2018. 8

4.16. STAIR

缩小比例的二阶注意力网络用于真实图像降噪该团队提出了一种缩小比例的RNAN(RNAN-DU)方法来处理可能不是统计独立的真实噪声。 因此,研究小组使用残留的非本地注意力网络(RNAN)[50]作为提出的RNAN-DU方法的骨干。 向下采样块用于抑制噪声,而非本地关注模块则专注于处理更严重,分布不均的真实噪声。 该团队提出的网络架构如图15所示。

[50] Y. Zhang, K. Li, K. Li, B. Zhong, and Y. Fu. Residual nonlocal attention networks for image restoration. arXiv preprint
arXiv:1903.10082, 2019. 8

4.17. Couger AI

        用于图像去噪的轻量级残留密集网络该团队提出了一种类似U-net的模型,该模型具有堆叠的残留密集块以及简单的卷积/卷积转置。 输入图像首先由坐标卷积层[27]处理,旨在改善对输入图像中空间特征的学习。 此外,该团队使用修改后的密集块来学习全局分层功能,然后以更全面的方式将这些功能融合到解码器的输出中。

       用于图像去噪的轻量级深度卷积模型该团队还提出了在没有坐标卷积层的情况下训练网络的方法[27]。 与原始体系结构相比,此修改可以在测试集中获得更好的结果。

[27] R. Liu, J. Lehman, P. Molino, F. P. Such, E. Frank, A. Sergeev, and J. Yosinski. An intriguing failing of convolutional neural networks and the coordconv solution. In NeurIPS, pages 9605–9616, 2018. 8

4.18. ZJU231

用于真实图像降噪的深度优先融合网络(DPFNet)团队介绍了基于Unet的DPFNet [37]。 他们利用DPF块和Residual块(它们都是ResNet [16]中标准残余块的修改版本)进行特征提取和图像重建。 与残差块相比,DPF块引入了提取的1×1卷积层,以在特征提取阶段增强特征图的跨通道交换。

[16] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 3, 5,8

[37] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pages 234–241. Springer, 2015. 3, 6, 8

4.19. NoahDn

可学习的非本地图像降噪团队提出了一种在完全可区分的框架内显式使用非本地图像的方法。 特别地,以逐块方式处理图像,并且在浅层特征提取之后,在搜索窗口内提取自相似块,然后通过利用它们的非局部冗余对其进行联合降噪。 通过将每个块返回其原始位置并在重叠区域内自适应汇总过完整的块估计,可以获得最终的图像估计。

4.20. NCIA-Lab

SAID:用于图像去噪的对称体系结构该团队提出了一个两分支双向校正模型。 第一个分支用于估计最终残差层中的正值,而第二个分支用于估计最终残差层中的负值。 特别是,该团队通过改编DHDN体系结构的两个模型,在DHDN体系结构的顶部构建了他们的模型[35]。

[35] B. Park, S. Yu, and J. Jeong. Densely connected hierarchical network for image denoising. In CVPR Workshops, 2019. 5,
6, 9

4.21. Dahua isp

用于图像去噪的密集残差注意力网络该团队对RIDNet [6]进行了优化,并进行了以下修改:使用长的密集连接以避免梯度消失; 并添加深度方向可分离卷积[17]作为过渡。

[6] S. Anwar and N. Barnes. Real image denoising with feature attention. In Proceedings of the IEEE International Conference on Computer Vision, pages 3155–3164, 2019. 3, 9

[17] A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang,T. Weyand, M. Andreetto, and H. Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017. 9

4.22. Visionaries

通过堆叠式自动编码器对图像进行降噪团队使用堆叠式自动编码器对图像进行降噪。 训练时,在每个时期下,随机对图像对(原始图像和噪声图像)进行混洗,并添加了所有160个图像对的高斯噪声,其原始图像和噪声图像之间的差的均值和标准差。

猜你喜欢

转载自blog.csdn.net/LiuJiuXiaoShiTou/article/details/106474655