机器视觉算法与应用：2.3 摄像机

2.3 摄像机

摄像机作用：将通过镜头聚焦于像平面的光线生成图像。
数字传感器技术：
1、电荷耦合器件CCD（charge coupled device）
2、互补金属氧化半导体CMOS（complementary metal oxide semiconductor）
3、CCD与CMOS主要区别：读出结构（从芯片中读取数据的方式）不同。

2.3.1 CCD传感器

线阵传感器
功能：只能生成一个像素高度的图像。
要求：
1、为获取二维图像，线阵传感器必须相对于被测物运动。
2、为获取矩形像素，传感器必须与被测物平面平行，与运动方向垂直。
3、为获得方形像素，线采集频率必须与传感器分辨率，摄像机和被测物间相对运动匹配。
4、若运动速度是变化的，则需要通过编码器触发传感器采集每行图像。
5、若传感器与运动方向不匹配，则需要使用摄像机标定来确保测量精度。
6、要求非常强的照明，线读出时间在10~200kHz之间，每行的曝光时间被限制。
7、要求镜头光圈使用较小f值，景深被严重限制。

全帧转移面阵传感器
优点：
1、全帧转移面帧传感器填充因子（像素光敏感区域与整个靶面之比）达100%，可使像素的光灵敏度最大化，图像失真最小化。
缺点：
1、存在拖影现象，需加上机械快门或利用闪光灯来避免。下层像素读出时传感器还在曝光并产生电荷，而上层像素读出时会经过下层像素，多出的电荷会造成场景信息的积累，从而产生拖影。

帧转移传感器
优点：
1、填充因子可达100%，而且不需要机械快门或闪光灯。
缺点：
1、存在残留的拖影。虽然从光敏感传感器到光疲敝存储阵列，电荷转移速度快，时间短，但传感器依然在曝光。
2、成本高，需要两个传感器。

行间转移传感器
优点：
1、无拖影，不需要机械快门和闪光灯。
缺点：
1、填充因子可能低至20%，图像失真会增加，需在加上微镜头。移位寄存器会在传感器上占据空间，使得填充因子过低。

CCD传感器存在的问题：
1、高光溢出效应。当积累的电荷超出光电探测器的容量时，电荷会溢出到相邻的光电探测器中，使得图像中亮的区域被显著放大。
解决方法：
1、在传感器上增加溢流沟道（测溢流沟道和垂直溢流沟道）。

模拟CCD摄像机常用读出模式：
1、隔行扫描。CCD传感器读出时需两次曝光，若被测物在两次曝光之间移动，图像会出现锯齿
2、逐行扫描。采集运动物体图像时必须用逐行扫描。

2.3.2 CMOS传感器

缺点：
1、填充因子很低，需使用微镜。放大器和行列选择电路占据像素的大部分面积。
优点：
1、容易读出图像的矩形感兴趣区域。
2、可在传感器上实现并行模数转换。
3、读出速度快。
曝光方式：
1、行曝光。第一行与最后一行存在很大采集时差，采集运动物体图像时会变形。
2、全局曝光。传感器对应的每个像素都需要一个存储区，会降低填充因子。采集运动物体图像时需使用全局曝光。

2.3.3 彩色摄像机

1、灰度是入射光（传感器可响应的所有波长的光）积累后按传感器光谱响应的结果。
2、单芯片摄像机在传感器前加上彩色滤镜阵列（CFA）使得一定范围内的到达每个光电探测器。
3、Bayer滤镜阵列采样1/4红色、1/2绿色、1/4蓝色。加上抗图像失真滤光片避免由于红绿蓝颜色不均造成严重图像失真，通过颜色插值（如双线性或双三次插值）重建少采样部分以得到传感器全分辨率下的彩色图像。
4、三芯片摄像机利用分光器或棱镜将通过镜头的光线分成三束，在三个传感器前加上对应红绿蓝滤光片。三芯片摄像机可以克服单芯片摄像机图像失真问题，但成本高，需要三个传感器。
5、典型彩色CCD传感器对近红外敏感，需加上红外滤光片防止图像产生不希望看到的颜色。

2.3.4 传感器尺寸

1、传感器的尺寸大约是传感器标称尺寸的2/3，传感器的宽度大约是传感器标称尺寸的1/2。
2、镜头尺寸不能小于传感器实际使用大小，否则传感器外围没有光线到达。
3、图像大小一定，传感器分辨率越高，像素间距越小。
4、分辨率常用百万像素表示，分辨率越高，帧率和行频越低。

2.3.5 摄像机性能

图像灰度值产生过程：
1、曝光时，${\mu }_p$个光子落到传感器的区域内；
2、对于CCD产生${\mu }_e$个电子-空穴对，对于CMOS消灭${\mu }_e$个电子-空穴对；
3、电子-空穴对形成电荷转化为电压；
4、电压放大后通过模数转换数字化产生灰度值$y$。

随机噪声：
1、光子噪声（光子的随时间不一致性）。光子不是等时间间隔到达传感器，而是按泊松分布模型的随机分布到达。
2、复位噪声。读出时像素电荷不能完成复位，可使用双采样（读出的电压-读出后像素中的电压）去除。
3、暗电流噪声。热也会产生电子-空穴，可对摄像机制冷来消除。
4、本底噪声（暗噪声）。即使没有光线也会有的噪声。
5、入量化噪声。电压通过模数转换器转化为数字引起的噪声。

信噪比：
$$\begin{gathered} SNR({\mu }_p)=\frac{\eta {\mu }_p}{\sqrt{{\sigma }_d^2+{\sigma }_q^2/K^2+\eta {\mu }_p}} \\ 低光照水平(\eta {\mu }_p<<{\sigma }_d^2+{\sigma }_q^2/K^2)：SNR({\mu }_p)\approx \frac{\eta {\mu }_p}{\sqrt{{\sigma }_d^2+{\sigma }_q^2/K^2}} \\ 高光照水平(\eta {\mu }_p>>{\sigma }_d^2+{\sigma }_q^2/K^2)：SNR({\mu }_p)\approx \sqrt{\eta {\mu }_p} \\ SNR：信噪比{\mu }_p：光子数{\mu }_e：电子数\eta =\frac{{\mu }_e}{{\mu }_p}：量子效率{\sigma }_d^2：暗噪声的方差{\sigma }_q^2：入量化噪声的方差 \\ 理想传感器(\eta =1{\sigma }_d=0{\sigma }_q/K=0)：SNR({\mu }_p)=\sqrt{{\mu }_p} \\ 分贝表示：SN{R}_{dB}=20logSNR \\ 有效位数表示：SN{R}_{bit}=lgSNR \end{gathered}$$

动态范围：
$$\begin{gathered} DR=\frac{{\mu }_{p.sat}}{{\mu }_{p.min}} \\ DR：动态范围 \\ {\mu }_{p.sat}：饱和照明（噪声仍能无裁剪表示的灰度值） \\ {\mu }_{p.min}：绝对灵敏度阈值（可检测的最小光照量） \end{gathered}$$

不均匀性：
1、不均匀性属于系统误差，有时也称空间噪声或模式噪声，与随机噪声相比不能通过时间平均来消除。
2、暗信号不均匀性：暗信号对于每个像素可能不一致。
3、光响应不均匀性：像素对于光的响应对于每个像素来说是不同的。
4、CMOS传感器比CCD传感器经常表现出明显较大的不均匀性，因为CMOS传感器每个像素都有放大器，故需要不同的增益和补偿。
$$\begin{gathered} DSN{U}_{1288}=\frac{s_{y.dark}}{K}PRN{U}_{1288}=\frac{\sqrt{s_{y.50}^2-s_{y.dark}^2}}{{\mu }_{y.50}-{\mu }_{y.dark}} \\ DSNU：暗信号不均匀性PRNU：光响应不均匀性 \\ 1288：EMVA标准1288y.dark：完全黑暗下的图像y.50：照明达到传感器饱和度的50\%的图像 \\ s：图像的空间差异\mu ：图像的平均灰度值 \end{gathered}$$