Pattern Recognition(2020)
作者：Chongyi Li（这是水下图像增强界公认的大佬~我的偶像啊）
2020/01至今，新加坡南洋理工大学计算机科学与工程学院MMLAB研究员。
2018/10-2020/01，香港城市大学计算机科学系博后研究员，与教授Sam Kwong (IEEE fellow)一起工作。
2016/12-2017/12，澳大利亚国立大学工程研究学院联合攻读博士，师从Fatih Porikli教授(IEEE Fellow) 。
2014/09-2018/07，天津大学电气与信息工程学院攻读博士学位，师从郭继昌教授。
研究兴趣包括人工智能，机器学习，计算机视觉和图像处理，特别是在图像和视频恢复和增强领域。
Abstract
在水下场景中，波长相关的光吸收和散射会降低图像和视频的可见度。退化的水下图像和视频影响水下场景中模式识别、视觉理解和关键特征提取的准确性。文章提出了一种基于水下场景先验的水下图像增强卷积神经网络模型（UWCNN）。该模型不需要估计水下成像模型的参数，而是直接重构清晰的潜在水下图像，这得益于水下场景先验，可用于合成水下图像训练数据。此外，基于轻量级的网络结构和有效的训练数据，UWCNN模型可以很容易地扩展到水下视频进行逐帧增强。具体来说，将水下成像物理模型与水下场景的光学特性相结合，先合成不同类型的水下图像数据集，然后，针对每种水下场景类型，设计一个轻量级的CNN模型，并通过相应的训练数据进行训练。最后，将该模型直接扩展到水下视频增强。在真实和合成的水下图像和视频上的实验表明，该方法能够很好地适用于不同的水下场景。
Introduction
研究动机：
光在水下传播过程受到衰减导致颜色通道衰减。传统的图像增强方法在处理水下图像和视频时表现出局限性。此外，由于缺乏足够和有效的训练数据，基于深度学习的水下图像和视频增强方法的性能不能与基于深度学习的解决方案(例如图像分类、分析、分割、超分辨率、识别等)相匹配。为了获得更高的水下视觉质量，提高高水平视觉任务的性能，有必要开发水下图像合成和增强方法。
主要工作：
文中提出了一种新的水下图像合成算法，算法使用水下场景先验，为水下图像和视频增强提供基于数据驱动的解决方案。提出的方法被证明对不同的水类型具有优越的鲁棒性、准确性和灵活性。
贡献：
(1)提出一种新的基于水下场景先验的水下图像合成算法，该算法能够模拟多种退化的水下图像。
(2)提出了一种新的CNN模型，通过联合优化多项损失，在保留原始结构和纹理的同时，重建清晰的水下图像。
(3)提出方法可以很好地推广到具有不同颜色和可见性特征的合成和真实世界的水下图像和视频。
Related work
Proposed method
首先将图像转换到HSI颜色空间。然后，其在HSI颜色空间中的饱和度和强度分量的范围被归一化为[0,1]。
在将调整后的图像转到RGB空间。UWCNN可以有效的消除真实水下图像中存在的绿色失真并改善对比度，经过后处理的UWCNN进一步提高了饱和度和亮度，揭示了更多的细节信息。
水下图像合成算法
缺乏地面真实的水下图像数据集限制了基于深度学习的水下图像增强和质量评估的发展。为了填补这一空白，提出了一种基于水下成像物理模型和水下场景光学特性的水下图像合成算法。这是第一个基于物理模型的水下图像合成算法，可以模拟不同的水类型和退化程度，这是对水下图像和视频增强发展的重要贡献。
（1）通过不同的衰减系数来描述海洋和沿海不同类型的水体。
（2）通过修改水下图像恢复模型中的光波和场景点X到相机的距离d(x)来模拟不同深度的水下图像成像过程。
Experiment
Conclusion
文章提出了一个基于水下场景先验的水下图像和视频增强网络UWCNN。在合成和真实水下图像验证实验表明了该方法的鲁棒性和有效性。网络只包含十个卷积层和每个卷积层的16个特征映射，可以快速训练。在我们的网络中使用的残差学习、密集连接和SSIM损失经证明都提升了网络性能。
我的想法
存在的问题
1.通过水下成像模型设置不同的衰减系数模拟水下图像训练模型有待于验证准确性。
2.模型对于衰减严重的图像存在过度补偿的问题。
3.合成的数据很难模拟到各种衰减程度的水下图像，导致模型整体的泛化性不强。
4.论文采用MSE，PSNR，SSIM等传统有参考图像评价指标，不具有广泛性，而针对水下图像的无参考质量评价指标也是研究的一个热点，作者完全规避掉了。
后期可以尝试的改进
1.根据水下合成数据集的思想，尝试各种监督学习图像增强框架。
2.利用残差学习实现无监督学习，解决无参考图像水下图像增强问题。