1. 前言
前段时间，公司内部分享了一次相机成像的原理(硬件角度)，感觉挺有意思的，颇受震撼，收获挺多，所以有了一篇文章，将我的收获分享给大家，希望大家也能有所收获。
2. 小孔成像
2.1 小孔成像原理
要讲清楚摄像头的成像原理，就得介绍下小孔成像的原理。
中国春秋时代的墨子，发现在一间黑暗的屋子朝阳的墙上开一个小孔，人对着小孔站在屋外，屋里相对的墙上就会出现一个倒立的人影，这就是全世界最早关于小孔成像的记载。
我们也可以来做个试验，在一个暗的环境里面，准备一个蜡烛和两块挡板，蜡烛放在最左侧，一块挡板放在中间，一块挡板放在最右侧。
中间的挡板要开一个很小的孔，然后用打火机点燃蜡烛，可以发现在最右侧的挡板上，会呈现出蜡烛倒立的影像。
这是为什么呢 ?
我们来看一下火焰最顶端的这点，发射出来的光，大部分都会被隔板所挡住
只有小孔这一点可以穿过，照射到右侧纸板对应的那个点。
蜡烛其他位置的点也是同理，如下图所示。
这样子就在最右侧的纸板上呈现出蜡烛倒立的影像了。
小孔成像证明，光是沿着直线传播的，它所形成的是上下、左右颠倒的像。
2.2 凸透镜
在搜索资料的时候，看到一个B站的UP主的视频 : 把天空搬进房间，这就是理科生的浪漫吗？，很有艺术浪漫细胞哦，想到了使用小孔成像的原理，将窗外的风景搬入室内。
她是怎么做到的呢 ? 其实也就是把窗户全部用锡纸包住，只留一个小孔，这样室外的风景就会倒立这投影到房间里的白墙上了，不过这样投出的画面会很暗淡。(因为光线不足)
这时候就需要使用到凸透镜了，凸透镜具有聚拢光线的效果，它既可以收集足够多的入射光线，又可以让出射光线集中的打在屏幕上。
所以只要选择合适焦距的凸透镜，就可以让窗外的风景清晰地投屏到白墙上了。
手机摄像头的成像原理也类似的，下面我们来看一下。
3. 相机成像原理
3.1 手机相机的链路
先来整体看一下手机相机的链路，总共有5步，本篇文章会针对前3部分(硬件部分)进行讲解 :
- Camera Lens : 光线通过透镜，到达COMS图像传感器
- Image Sensor : CMOS图像传感器会将光信号转化为电信号，再通过内部的ADC转化为数字信号
- ISP : 数字信号会传输给ISP进行处理，主要进行矫正、白平衡、曝光控制等
- SOC : 这一步就在应用层了(比如
App)，通过CPU和GPU对图像数据进行后处理，比如添加滤镜等操作 - Display : 最终将图像数据显示到屏幕上
3.2 Camera Lens
手机相机镜头的硬件构成如图所示
对应到小孔成像上，光圈就是小孔，透镜组承担了汇聚光线的作用，
CMOS图像传感器就是画布。
接下来来讲下每个具体的组件的作用 :
- 镜座 : 用来支撑镜头模组
- 透镜组 : 组汇聚光线，再发散光线，能够雨露均沾地落到图像传感器上
- 透镜组的设计是非常复杂的，包含了凸透镜和凹透镜，好的透镜组素质是成像必不可少的条件
- 透镜组确定了焦距，由凸透镜和凹透镜之间的距离决定的
- 光圈 : 用来控制镜头进光量的东西，它的大小是用F值来表示的 :
焦距 / 光圈开口直径
- 对焦马达 & OIS光学防抖 : 现在的对焦马达和OIS都是合在一起的
- 横向轻微移动来实现对焦
- 竖向轻微移动用来光学防抖 : 通过陀螺仪会感受到手机的偏移，从而电机反向偏移来抵消这种抖动
3.3 CMOS图像传感器
CMOS图像传感器用来接收光信号，并转化为电信号，再通过内部的ADC转化为数字信号
3.3.1 微透镜
在彩色滤镜阵列(CFA)的上方，用来把光线聚集到每一个像素点上，每一个像素点上方都有一个微透镜，6400万像素就有6400万个微透镜，1亿像素就有1亿个微透镜
3.3.2 彩色滤镜阵列 (CFA)
CFA的作用就是赋予图像颜色，阳光通过CFA的某个像素的时候，只有对应颜色(红/绿/蓝)的光线才能进入。
一般用的就是拜耳(Bayer) 阵列 (RGGB 排列)，由于人眼对于绿色更敏感，所以有两个绿色像素，红色和蓝色像素各占一个。
当然也有其他的排列，比如华为和特斯拉就用的RYYB排列，这样做的好处是进光量更大，在同等条件下夜晚拍照会更清晰。
但是存在一个问题，就是需要多一步将黄色的光再分解为红色和绿色，这导致照片会容易出现偏色问题，后期算法层面需要进行更多的优化。
3.3.3 像素阵列
也就是光电二极管(photodiode)，它收集着光子，并将其转化为电子。
一个光电二极管，就代表着一个像素，是照片上最小的成像单元，一般用微米(um)来表示它的大小，比如0.8um
3.3.4 ADC 模数转换器
负责将电子信号转化为数字信号
3.4 ISP图像信号处理
一般ISP也集成在CMOS中，并不是每一个图像传感器(CMOS)都自带ISP，随着现在的手机摄像越来越往计算摄影去发展，这个处理过程也更多的被放在SoC级的ISP上进行。
ISP，主要用来对前端图像传感器(CMOS)输出的信号做后期处理，主要功能有去马赛克(也叫反马赛克 ，demosaicing，由于每个像素点经过CFA后只能感应到一种颜色，所以需要通过该像素周围像素来预测出该点的插补值)、自动对焦(协同对焦马达)、曝光、白平衡、校正镜头缺陷、焦躁、HDR、格式转换等功能。
具体功能有 : 黑电平校正(BLC)、镜头阴影校正(LSC)、坏点校正(DPC)、颜色插值(Demosaic)、自动白平衡 (AWB)、颜色校正 (CCM)、彩色空间转换 (CSC)、Gammma校正 (Gamma Correction) 、宽动态 (WDR) 、多帧降噪 (3DNR)、锐化 (Sharp)、自动曝光 (AE)等。
ISP中的模块有IFE、BPS、IPE，JPEG等，其中JPEG会将数据进行jpeg编码工作。
颜色插值功能是去马赛克的一种方法。
4. 拓展知识
4.1 CMOS图像传感器的结构
CMOS图像传感器结构有前罩式，被罩式，以及堆栈式。
- 前罩式 : 比较浪费光线
- 被罩式 : 电路层移到了光电二极管的下面，光线利用率高
- 堆栈式 : 本质也是被罩式图像传感器，但多加入了一层DRAM，这样手机才能去拍摄超级慢动作
4.2 怎么评价图像传感器的好坏
信噪比 = 有用信号 / 噪声，信噪比越高，就意味着画质越好，越纯净。
信噪比越低，整个画面就会看上去有很多的噪点。
除此之外，还有三个对成像质量有影响的点
- 清晰度 : 像素越高越清晰 (前提是信噪比高才有用)
- 宽容度 (动态范围) : 相机所能记录最亮与最暗的入射光亮度之比，动态范围越高，拍摄的明暗层次越多，细节也更多；一般单像素面积越大，动态范围越大。
- 感光能力 : 图像传感器的尺寸越大，感光能力越强，在暗光环境下，画质更好
4.2 Quad-Bayer
将4个像素合并成1个打小像素，提升感光能力，在光线比较差的情况下，能得到相对比较亮的照片，能大幅提高动态范围。
但这个技术也有弊端
- 颜色串扰Color Crosstalk：像素点中心距过近，会造成颜色串扰
- 光学损失Optical Loss：四个像素合成一个大像素，每个小像素之间有物理隔断，光子会有损失
- 反马赛克Demosaicing：通过周围像素猜测出该像素的难度高
4.3 硬件链路
主要有MIPI和GMSL协议两种
- MIPI协议（多组差分对，信号数量多，传输距离短）
- MIPI：Mobile Industry Processor Interface，即移动产业处理器接口
- CSI：Camera Serial Interface，物理层分为D-PHY和C-PHY
- DSI：Display Serial Interface，物理层分为D-PHY和C-PHY
- GMSL协议（一对差分对或者一根同轴线，传输距离远）
- GMSL：一种高速串行接口，适用于视频、音频和控制信号的传输，使用50Ω同轴电缆或100Ω屏蔽双绞线(STP)电缆时的距离可达15m或更长，线束简单和传输距离远、传输稳定