RGB-D相机介绍

笔记，摘自公众号：计算机视觉life，视频链接：哔哩哔哩~

RGB-D相机分类

• 结构光法
  • Kinect v1
  • Iphone X
• 飞行时间(TOF)法
  • Kinect v2
  • Phab 2 Pro

结构光法

为解决双目匹配问题而生

• 解决对环境光照敏感问题
• 解决以来图片纹理的问题
• 提高匹配鲁棒性

特点

• 不依赖光照和纹理
• 夜间可用
• 主动投影已知图案
  

时分复用编码

• 需要投影N个连续序列的不同编码光
• 接收端根据接收到N个连续的序列图像来识别每个编码点

优点

• 可得到较高分辨率深度图（有大量的3D投影点）
• 受物体本身颜色影响很小（采用二进制编码）

缺点

• 适合静态场景，不适合动态场景
• 计算量较大（识别一个编码点需要计算连续N次投影）

空分复用编码

• 根据周围临域内的一个窗口内所有的点的分布来识别编码

优点

• 适用于运动物体

缺点

• 不连续的物体表面（因为遮挡）可能产生错误的窗口解码

结构光技术细分

Kinect v1

• 结构光方案鼻祖
  • 以色列PrimeSense公司
  • 用于Microsoft的明星产品Kinect v1
  • 2013年被Apple收购，用于iPhone X
• 特点
  • 发射端投射人眼不可见的伪随机红外散斑到物体
  • 每个伪随机散斑光点和它周围窗口内的点集在空间分布中的每个位置都是唯一且已知
  • 散斑投影在被观察物体上的大小和形状根据物体和相机的距离和方向而不同
  • spatial x/y resolution: 3mm @2m distance
  • depth z resolution: 1cm @2m distance

iPhone X原深感相机

• 结构光方案
  • PrimeSense技术
  • 缩小版的更强大的Kinect v1
• 特点
  • 高精度：3万个不可见的红外光点
  • 功耗低（相对于TOF方案）
  • 技术成熟
  • 近距离精度高
  • 适用于移动设备
  • FacelD、动画表情

TOF（飞行时间）法

原理

• 连续发射光脉冲（一般为不可见光）到被观测物体上
• 然后接收从物体反射回去的光脉冲
• 通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离

优点

• 可以通过调节发射脉冲的频率改变测量距离
• 测量精度不会随着测量距离的增大而降低
• 抗干扰能力强
• 社呵测量距离要求比较远的场合（如无人驾驶、AR）

缺点

• 功耗大
• 分辨率比较低
• 深度图质量差

根据不同的调制方法分类

• 脉冲调制
  • 通过电荷积累计算时间
  • 对物体器件要求较高
• 连续波调制（主流）
  • 利用相位偏移计算时间
  • 对硬件要求相对较低
    

RGB-D相机易错点

深黑色物体的影响

深黑色物体可以吸收大量的红外光导致测量不准

• 物体呈现的颜色：物体对不同波长的光具有选择性细吸收
  • 白光中光的互补（黄光和蓝光融合可形成白光）
    
  • 物体对光的选择性吸收决定了物体本身的颜色（溶液吸收黄色光将呈现蓝色）

表面光滑物体的影响

• 漫反射是多个角度清晰成像的基础
• 镜面反射容易发生过曝光或欠曝光
  • 镜面反射时，相机投射的结构光只有在接收器在特定位置时才能接收到）
• 当物体表面超过一定的光滑程度时，深度相机测量精度会急剧下降，甚至测量失败（没有深度值）
  

（半）透明物体的影响

• 深度值的歧义性
  • 半透明时，同一次发射的结构光可能会接收到两次
  • 全透明时接收不到
    

视差的影响

• 结构光深度相机的发射端和接收端通常有一定的间距，因此在物体的边缘有明显视差（基线越大越明显）
  

RGB-D相机优点

规避纯视觉技术的弱点

• 直接物理测距
• 纯视觉计算深度图的难点：
  • 缺乏纹理
  • 光照不足
  • 过度曝光
  • 软件计算复杂度高
  • 快速运动
    

RGB-D相机缺点

• 不适合室外使用
• 受深色物体、（半）透明物体、镜面反射物体、视差影响
• 功耗大
• 分辨率比较低
• 深度图质量和硬件密切相关
• 成本较高

RGB-D相机应用

• 三维人脸识别
• 三维活体检测
• 模仿专业人像摄影时的打光效果
• 背景虚化
• 立体美颜
• 立体美体
• 三维空间测量
• AR
• 三维重建
• 手势识别
• 人体姿态估计
• 机器人SLAM