相机成像 - ISP之RGB域处理

在之前的文章中,介绍了ISP 的基本流程和RAW域中的处理方法。

完美成像中最重要的环节 - ISP之RGB域处理

今天延续之前的内容,讲解中间的部分 -- RGB域的处理。

ISP的流程具体如图所示,我们继续围绕这个图把RGB域中每个部分的处理给大家讲解一下。

通过Demosaic插值后,将sensor的原始RAW图插值为RGB图,再在RGB域中进行Gamma亮度的调整和CCM颜色校正,最后在CSC模块中将RGB转为YUV图,就此RGB域处理完毕,再接下到YUV域处理。

YUV域的处理放到下一次更新中,敬请期待!


在RGB域中主要做了三个部分,处理方法如下。

Demosaic 去马赛克 

严格来说,demosaic处理模块不算是RGB域的,更应该属于RAW域的最后一个步骤。

从sensor的构造原理可以知道,我们捕获景物的光信号,通过光电二极管可以获取到光亮的强度信息,图像是黑白的,无法获取色彩信息。

色彩信息是通过CMOS上的R、G、B三色的滤光片,将图像数据分成RGB三种分量而形成的Bayer raw图。这个部分可以参考 完美成像中最重要的环节 - ISP之RAW域处理 中对Bayer格式的介绍。

这样才能包含完整的图像信息,既有光强信息,也有色彩信息。

但是,Bayer的数据是每个像素点只包含了一种色彩信息,呈现了一种“马赛克”的样子,我们需要将RGB数据结合在一个像素点中展现,消除马赛克的样子,也就是这个过程就是 - Demosaic。

对于去马赛克的算法,当前主要有双线性插值算法和自适应插值算法。其核心就是在每个像素中根据周围的颜色信息插值,获取到每个像素的RGB三个分量。

Gamma 曲线校正 

由于人眼在黑暗环境下对亮度感知更敏感,比如观察一团火焰在黑暗环境中和光亮环境中的差别不大,是一种非线性的关系。

而sensor获取光信号后显示出来整个过程都是线性的,与人眼的效果不一致。

这是什么意思呢?根据图中曲线,我们假设亮度最大的亮区是1。当在暗区值为0.2的位置,人眼感知亮度是0.5,而sensor感知仍然是0.2,这就是人眼对黑暗环境更敏感光亮感知的非线性

为了得到人眼类似的这种效果,因此引用Gamma曲线校正。

Gamma校正就是对图像的灰度进行非线性处理,这个曲线类似于指数关系,最终处理后图像灰度是类似人眼的非线性效果,这个指数就是Gamma。

一般Gamma校正的值为2.2,这个曲线更接近于人眼的效果。

看上图,在没有Gamma校正的情况下,低灰度区域大范围都被一个值表示,造成信息缺失,高灰度区域却保留过多相似的值,没有合理分配数据空间。经过Gamma校正的后的信息,对于低灰度有了更合理的分配,更接近真实。

从图上可以看出,Gamma值为1.8会增强暗色调,使图像更明亮;Gamma值为2.2更接近于人眼的效果;Gamma值为2.4图像的对比度更加明显。

CCM(Color Correction Matrix) 颜色校正 

为何需要做颜色校正CCM,还是因为要还原图像最真实的样子。因为人眼对不同的色彩有不同的响应曲线,用CCM去还原图像色彩。

CCM的原理就是利用一个3*3的校正矩阵对当前的R、G、B三个色彩进行校正,得到一个接近人眼真实的色彩。M是校正矩阵,一般利用标准色卡的对比实验来得到。

CSC(Color Space Convert) 色彩空间转换 

这个部分就是将RGB图转为YUV图,以便在YUV域进行最后的处理。

为何会有色彩空间的转换呢?我们图像的采集和处理在RGB空间就已经有很好的效果了,但是显示和信号的处理多数在YUV空间下进行。

显示主要指的是电视,使用YUV格式可以兼容黑白电视和彩色电视,只有Y分量就是黑白图,Y分量和U、V分量都有就可以使用在彩色电视上。

常见的色域标准有BT.601(SDTV,标清电视),BT.709(HDTV,高清电视),BT.2020(UHDTV,超高清电视)。

之前文章中,转换公式 - 完美成像中最重要的环节 - ISP之RAW域处理 中YUV域的介绍中:

Y = 0.299 * R + 0.587 * G + 0.114 * B;U = -0.169 * R - 0.331 * G + 0.5 * B;V = 0.5 *R - 0.419 * G - 0.081 * B;

这个是常见的BT.601色域CSC,在不同的色域空间下,转换矩阵是不一样的。


通过以上的介绍,是否了解了ISP在RGB域下的处理流程,后续还需要在YUV域进行最后的处理。

欲知后事如何,且听下回分解!

更多技术文章,全网首发公众号“摸鱼IT”,希望大家关注、转发、点赞!

猜你喜欢

转载自blog.csdn.net/qrx941017/article/details/131575222