点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
作者:白乌鸦 | 已授权转载(源:知乎)编辑:CVer
https://zhuanlan.zhihu.com/p/540726540
我们造了一个自动着色的Transformer模型,以color tokens作为辅助,实现了目前最好的着色效果。这里说的color tokens来自于经典工作《colorful image colorization》(CIC)中量化ab color space的思路,我们将每个格子都当做一个token,借助position embedding得到格子之间的位置关系,从而获得color token的颜色相对关系(离得远的色差大,否则小),从而设计一系列模块来引导color token监督着色。
这里可视化一下我们的Pipeline,可以看到基本上不需要对transformer结构做太多魔改,只需要依靠我们设计的Luminance-selecting module, Color Attention和Color query等模块,依靠ab color space中颜色分布的先验知识,就可以实现好的着色性能。
我们的模型不需要任何前置条件(例如目标检测主要着色物体,或者先用inversion GAN生成个参考图像),就能生成正确颜色语义和丰富饱和度的图像。因为没有前置条件的需求,所以使用场景更广(例如不受限于检测器可以检测的目标的类别,以及GAN可以生成的图像的类别)。
下面是我们的分数和user study,我们对比了标准的CNN colorization方法,以及Google在ICLR2021提出的第一个colorization transformer,最终性能在所有指标上都打过了他们;我们额外比较了一些热门的图像修复算法,但显然专门为colorization设计的算法性能更优;我们还比较了著名的预训练模型MAE,并把colorization当做他的一个下游任务来finetune,但他在这个任务上看起来也不是很聪明的样子。
下面展示一些修复老照片的结果
然后是一些灰白图像上色的结果
论文过段时间会挂到实验室和个人主页上,代码很快也会开源,欢迎大家关注~
实验室主页:https://ci.idm.pku.edu.cn/
点击进入—> CV 微信技术交流群
CVPR 2022论文和代码下载
后台回复:CVPR2022,即可下载CVPR 2022论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer6666,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信: CVer6666,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!
▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看