ACM MM 2023 | CLE Diffusion:可控光照增强扩散模型

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【扩散模型和Transformer】群

作者:非虚构视觉(源:知乎,已授权)| 编辑:CVer公众号

https://zhuanlan.zhihu.com/p/654816395

在CVer微信公众号后台回复:CLE,可以下载本论文pdf

本文介绍了由北交大、UT Austin、A*Star团队提出的基于扩散模型的可控低光增强方法,论文被ACM MM 2023收录。

77a894f3a5744cab2bc64870cc99e6af.jpeg

CLE Diffusion: Controllable Light Enhancement Diffusion Model

论文:arxiv.org/abs/2308.06725

代码:github.com/YuyangYin/CLEDiffusion

主页:yuyangyin.github.io/CLEDiffusion/

扫描二维码关注公众号,回复: 16602044 查看本文章

在CVer微信公众号后台回复:CLE,可以下载本论文pdf

Introduction

低光图像增强技术近年来受到了广泛的关注,目前的方法通常假设一个理想的增亮程度,对图像整体进行均匀的增强,同时也限制了用户的可控性。为了解决这个问题,本文提出了可控光照增强扩散模型(Controllable Light Enhancement Diffusion Model),可以让用户输入所需的增亮级别,并利用SAM模型,来实现交互友好的区域可控增亮。如图演示效果,用户可以通过简单的点击来指定增亮的区域。

defc2c12b5b30ce59761344e6b4599fb.jpeg

Method

本文提出了新型的可控光照增强框架,主要采用了条件扩散模型来控制任意区域的任意亮度增强。通过亮度控制模块(Brightness Control Module)将亮度信息信息融入Diffusion网络中,并且设计了和任务适配的条件控制信息和损失函数来增强模型的能力。同时本文使用了Mask输入和SAM模型(Segment-Anything Model)来进一步增强可控性,使得用户可以通过简单的点击形式实现任意区域的增亮。整体的框架如下图所示:

a9ca5d60d070ed36ac5102e0504a44dc.jpeg

条件控制扩散模型

d05393cc0c7565e547b52ea5d0f7bc80.png

亮度控制板块

为了高效的控制亮度信息,本文采用了classifier-free guidance(CFG)方法。CFG采用同时训练条件扩散模型(conditional diffusion model)和无条件扩散模型(unconditional diffusion model)的方式来实现。在本任务中,将亮度值(brightness level)视作class label,由于亮度具有连续性,我们的class label也是连续的,可以实现更精细的亮度调节。对于条件扩散模型,本文通过计算normal-light image的平均亮度 λ ,然后通过orthogonal matrix将其在编码成illumintion embedding。然后通过FiLM layer将其注入到UNet的feature map中。对于无条件扩散模型,本文将illumintion embedding的值设置为0。实验中为了提升采样速度,采用DDIM采样的办法,因此总体的算法流程可以总结为:

f218e06bb40f6fa8aad6f9494e8f7536.jpeg

区域控制增亮

在实际增亮过程中,用户相比于全局增亮图片其实更加关注区域的亮度控制,本文采用了Mask-CLE Diffusion来解决这个问题。首先采样了一批羽化边缘的随机mask,通过将normal-light image和mask混合得到了一个新的合成数据集。然后将mask信息拼接到扩散模型的输入中,训练得到新的增亮模型。SAM(Segment-Anything Model)可以实现任意图片的分割。在SAM的帮助下,Mask-CLE Diffusion提供了更好的用户交互体验,可以让用户通过点击的形式获得指定区域的mask并进行增亮。

辅助损失函数

351ca36290f704faf72e855356a57751.png

Expriment

New Metric

目前的大部分指标通常假设理想的亮度值,但对于不同亮度的图片质量比较困难。如下图所示,PSNR和SSIM通常随着亮度变化呈现V字形的变换,而LPIPS会呈现倒V型。因此本文希望提出一个新的指标,可以衡量不同亮度下的图片质量。

5198f0f8ff04ebd69483ac9ba3a95ea5.jpeg

本文发现可以用color map来对亮度进行归一化,之后通过Canny边缘提取算子来衡量细节信息,最后采用LPIPS函数来衡量高频质量。新的指标可以命名为Light-IndependentLPIPS,表示为: 

63e2a2d3074f68591e6efdcd4f980c89.png

LOL和Mit-Adobe FiveK数据集上的表现

评测指标的比较:

93099bb01d04343a5164a28140af9ec8.jpeg

LOL数据集上的可视化比较:

1699ccf7be521e99577e2f6e175da723.jpeg

Mit-Adobe FiveK数据集上的可视化比较:

03d3a7043ed400a381efaf9c784d76c9.jpeg

区域亮度增强

给定用户感兴趣的区域,可以实现任意亮度的增强。对比于过往低光增强方法MAXIM(CVPR 2022 Oral),具有更强的可控性和增亮效果。

c94df3ea9bc985fe41093b442525700e.jpeg 2a897b3e296f9b99104e80c777841e4e.jpeg

全局亮度增强

c1da732603bc4d0d01c40703456b3126.png 387928777eb75313f54806b678f5c3be.jpeg

和其他亮度可控方法的比较

ReCoRo只能实现在low-light到well-light之间的亮度增强,而CLE Diffusion有更广的编辑空间。

59d1c90eb353f1ddca04774b05ba3b1f.jpeg

在VE-LOL数据集上的比较

e18c9fbeaebf238e3ab66fe94d06ccdd.jpeg

在正常光照数据集上的比较

a48721bbdb5c7cf55c0c26ca1b3a2bf6.jpeg

在分割模型上的表现

9578b0a9febd607714d8092d01f04976.jpeg

总结

CLE Diffusion提出了一种新型的扩散模型框架来实现可控的光照增强。方法主要将亮度信息编码,利用条件扩散模型来实现可控的亮度增强。并且借助SAM模型,让用户可以选择感兴趣的区域进行增亮。大量的实验表明,方法在定量和定性上都有优异的表现。

在CVer微信公众号后台回复:CLE,可以下载本论文pdf

点击进入—>【扩散模型和目标检测】交流群

ICCV / CVPR 2023论文和代码下载

 
  

后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集

后台回复:ICCV2023,即可下载ICCV 2023论文和代码开源的论文合集
扩散模型和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-扩散模型或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注:研究方向+地点+学校/公司+昵称(如扩散模型或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer333,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!

▲扫码进星球
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看

猜你喜欢

转载自blog.csdn.net/amusi1994/article/details/132798153
mm
今日推荐