手机镜头,噪声建模,ISP,ISO与analog gain

最近在做夜景去噪声的low level工作,相关工作可以说是非常的难以及boring。因为这种low level你必须往上层,往底层走,甚至说需要了解ISP相关的知识;因此这段时间对于相关知识进行了大量的学习与了解。

1、ISO

曝光量以E表示,计算单位就是勒克斯·秒(lux*s)。若要取得一定量的曝光量,则光强度越大,曝光时间越短;光强度越小,曝光时间越长。曝光是拍照最基本也是最重要的技术之一。

在专业相机中,曝光强度 = 曝光时间 * 光圈大小 * ISO,手机上的光圈是固定的,所以只需考虑曝光时间和ISO(也就是Gain值的一种表示,这里的Gain又分为Analog Gain,Digital Gain,ISO指的是analog gain)。而手机上的自动曝光就是让相机根据当前的图像信息自动配置曝光大小,也就是曝光时间和ISO的值。

在这里插入图片描述
结合一下旷视ECCV2020论文,光是由一组移动的光子组成。光的能量也就是这组光子所有的能量(光的能量是焦耳,而不是Lux。Lux只是人眼对光的响应的一种权重表示)。当光子照射到Sensor上时,只有一部分被转换成了电子,这种转换的效率常用Quantum Efficiency来表述。所以更大的sensor Pixel和更高的QE可以获得更多的电子,也就是sensor的sensitivity更高。

被转换的电子都存在sensor上一个一个的像素里。每一个像素可以保存的最大电子量称为Full Well Capacity。这些被保存的电子不是每一个都是通过光电转换而来的,有一些则是通过暗电流产生的。暗电流是由热量产生的,通常情况下,温度每升高5°C~8°C,暗电流就会增长一倍。这些电子被转换成电压信号,再经过放大(analog gain)、模数转换ADC,形成数字图像信号。

Analog gain其实就是由ISO所控制,也就是我们经常所说的感光度。那么analog gain, ADC(analog digital converter)以及digital gain是怎么区分的呢(这个部分在通信工程专业学习数模转换的时候是有涉及的,可惜我学习的是理论力学,材料力学真的是一点用处都没有啊现在)?可以参考以下的解释:

Analogue_electronicsDigital_signal
analogy是比例的意思,模拟电路工作在三极管的线性区,而数字电路工作在饱和区;也符合电子管和真空管–晶体管(做放大器和开关元件)-- 电子计算机。

Sony-ISO
sony官网直接将ISO称作亮度增益。

2、噪声建模

参考论文:Rethinking Noise Synthesis and Modeling in Raw Denoising
在这里插入图片描述

I: real scene
Np: photon shot noise(signal-dependent,泊松分布,有了K,我们可以首先将一个原始数字信号D转换为光电子数I,然后对其施加泊松分布,最后将其还原回D)
Ka: analog gain
Kd: digital gain
N1: the summation of the other noises produced before the analog gain ( 包括 暗电流噪声Nd、热噪声Nt、源跟随器噪声Ns, 高斯分布,)
N2: the summation of the other noises produced before the digital gain(正态分布:暗场图像中提取每一行的均值,通过极大似然值估计计算出来相关的尺度参数)
Nq: quantization noise(假定量化噪声的概率分布是均匀的,服从以1/2量化单位间隔为半径的零均值均匀分布)

3、手机拍照专业模式

现在手机一般会推出属于后置的专业模式,专业模式开放部分参数供消费者自行选择。
在这里插入图片描述

  • 最左侧方框 测光方式:测光方式主要分为平均测光、中央重点测光和点测光三个方面
    在这里插入图片描述

平均测光:对画面的全部区域进行加权平均,适用于光照均匀的画面。比如我们在室外阳光照射均匀的地方拍摄,这时候就可以用平均测光模式了。

中央重点测光:主要侧重画面的中央区域并适当考虑周边区域亮度,适用于主体位于画面中央的拍摄,这种模式适合给人物进行拍摄。

点测光:仅对测光点覆盖的区域测光,适用于精确控制画面明暗的拍摄。

  • WB 白平衡

白平衡其实就是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。我们在日常拍摄中可以利用白平衡来调节不同光源带来的影响。就比如有时候,拍摄的画面会出现偏色,而白平衡就是用来解决这一问题的。

包括自动白平衡以及预设项(白炽灯、日光、荧光灯、阴天)和用户自定义(可设置色温区间为2000 - 8000K)这几个选项。

  • S 快门时间

快门时间包含有自动快门时间和手动快门时间两个方面,当我们选择自动快门时候,相机会根据测光结果自动匹配合理的快门时间。从理论上来看,如果我们缩短快门时间,那么画面就会变暗,反之则变亮。

  • ISO 感光度

ISO就是感光度,用于衡量镜头对于光的灵敏程度。ISO值越低,画质越好,画面更暗。ISO越高,画质越差,噪点多,画面更亮 。

在拍摄夜景时,iso建议设置在400-800之间,如果想要拍出灯光效果比较强的夜景(如车流、烟火)可以将ISO设置为100左右,搭配三脚架固定手机进行长时间曝光,可以保证照片画质的清晰锐利。

  • AF

专业模式中的对焦方式,它有三种对焦模式,AF-S、AF-C以及MF。

AF-S:单次自动对焦,适合拍摄静物。

AF-C:连续自动对焦,适合拍摄移动中的物体。

MF:手动对焦,选择区域对焦,拍完对焦点仍然不变。

  • EV 曝光补偿

曝光补偿主要用于调整曝光补偿值,以此来使拍摄的画面更亮或更暗,拍摄者可以根据自己的想法调节照片的明暗程度,创造出独特的视觉效果。

另外曝光补偿还可以与上面的ISO感光度配合使用,特别是在夜间的时候,可以拍出更明亮的照片。

猜你喜欢

转载自blog.csdn.net/NCU_wander/article/details/126521720