利用深度学习消去反光


越来越接近毕业季了,相信很多同学都结束了论文的撰写以及论文审批,现在就坐等着毕业论文答辩和毕业典礼了!其实我也是这样的一个状态,但是期间大Boss还是会安排很多任务下来,所以最近没有频繁推送好的文章,在此向关注“计算机视觉战队”的您说一句抱歉,希望您继续关注我们、支持我们。

今天给大家带来一个好玩的有兴趣的文章分享,主要是利用并行的深度学习方式区消除反射的现象。现在我们就正式进入今天的主题。

首先看下简单的例子:

640?wx_fmt=png

640?wx_fmt=png

这个问题的困难在于:

  • 从一个方程中估计两个未知参数

  • 背景与反射的相似性

640?wx_fmt=png

其中很多人做了相关研究,如:

  • Levin et al. User assisted separation of reflections from a single image using a sparsity prior. TPAMI 2007

其使用了双流框架:检测与去除

640?wx_fmt=png

  • Exploiting Reflection Change for Automatic Reflection Removal . ICCV 2013

640?wx_fmt=png

  • “Depth of field guided reflection removal” ICIP 2016

640?wx_fmt=png

在2018年提出的方法较为先进,提出反射的区域性质概念:

  • 只覆盖一个很小的区域

“Region aware reflection removal with unified content and gradient priors” TIP 2018

640?wx_fmt=png

  • 使用双流框架进行学习

  • Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

  • Fan, et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. CVPR 2017

640?wx_fmt=png

  • 不依赖双流框架

  • LB14: Li Yu et al. Single Image Layer Separation using Relative Smoothness

  • NR17: N Arvanitopoulos et al. Single image reflection suppression

  • SK15: Shih et al. Reflection Removal using Ghosting Cues

640?wx_fmt=png

640?wx_fmt=png

这么多方法,主要限制是什么呢?


限制

  • 双流框架的限制

高度依赖于特定的场景,对反射属性的描述能力有限。

模糊效应或鬼影效应:

640?wx_fmt=png

640?wx_fmt=png

如何打破这种限制呢?如下:

640?wx_fmt=png

SIngle-image Reflection Removal dataset

SIRR动机

640?wx_fmt=png

反射的类型:

640?wx_fmt=png

SIRR:不同反射图像

探讨不同参数对不同设置的影响。

  • 7种不同孔径和3种不同厚度的明信片和实体对象数据集。

  • 不同的室内和室外场景在未控制的场景数据集中。

640?wx_fmt=png  

SIRR:各种情况

  • The postcard dataset (200 image triplets and 600 images in total)

640?wx_fmt=png

  • The solid object dataset (200 image triplets and 600 images in total)

640?wx_fmt=png

  • The wild scene dataset (100 scenes and 300 images in total)

640?wx_fmt=png


CRRN: Deep learning based methods

640?wx_fmt=png

Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

640?wx_fmt=png

FY17: Fan et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. ICCV 2017

CRNN:训练数据集的表示

640?wx_fmt=png

CRNN网络的框架:

640?wx_fmt=png

CRNN:损失函数

一种感性动机的损失功能。

  • 像素级损失所产生的模糊伪影

  • 由于知觉损失而提高视觉质量

640?wx_fmt=jpeg

640?wx_fmt=jpeg

CRNN:可视化质量评估

640?wx_fmt=jpeg

640?wx_fmt=jpeg

CRNN:评价

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=jpeg


欢迎加入“计算机视觉战队”,请扫二维码关注并可加入学习群一起学习讨论!

640?wx_fmt=jpeg

猜你喜欢

转载自blog.csdn.net/gzq0723/article/details/80276176
今日推荐