机器视觉几何坐标概论

• 一、机器视觉几何坐标概论
  • 1、世界坐标系
  • 2、摄像机坐标系
  • 3、图像（像素）坐标系
    • 3.1、图像坐标系
    • 3.2、像素坐标系
  • 4、坐标系之间的关系
    • 4.1、图像坐标系与像素坐标系
    • 4.2、相机坐标系与图像坐标系
    • 4.3、世界坐标系与相机坐标系
    • 4.4、从世界坐标到像素坐标

一、机器视觉几何坐标概论

机器视觉系统有三大坐标系，分别是：1、世界坐标系，2、摄像机坐标系，3、图像（像素）坐标系；

1、世界坐标系

世界坐标系（Xw，Yw，Zw）是目标物体位置的参考系，根据运算方便自由设置圆点位置，可以位于机器手底座或者机器手前端执行器上。

其主要作用有

(1)盛放物体的三维坐标；

(2)标定的时候根据原点确定标定物的位置；

(3)给定出两个摄像机相对于世界坐标系的位置，从而求出两个或多个相机之间的坐标关系；

2、摄像机坐标系

摄像机坐标系（Xc，Yc，Zc）是摄像机在自己角度上的坐标系，原点在摄像机的光心上，Z轴与摄像机光轴平行，即摄像机的镜头拍摄方向。

3、图像（像素）坐标系

3.1、图像坐标系

图像坐标系（x，y）单位米或毫米，是连续图像坐标或者空间坐标，以图片对角线交点作为基准原点建立的坐标系。

3.2、像素坐标系

像素坐标系（u，v）单位尺度为一个pixel，是离散图像坐标或像素坐标，原点在图片的左上角。

4、坐标系之间的关系

当我们在图片中确定了某个物体的位置，如何让机器手去到空间中的实际位置进行抓取呢？这就需要对坐标进行转换。而从像素点到空间点的转换与空间点到像素点的转换是相反的，我们先将后者的推导过程。

4.1、图像坐标系与像素坐标系

图像坐标系与像素坐标系的关系为：

$f(x)= \begin{cases} u = \frac{x}{dx} + u0 \\ v = \frac{y}{dy} + v0 \end{cases}$

dx代表一个像素的宽度（x方向），与x同单位，x/dx表示x轴上有多少个像素，同理y/dy表示y轴上的像素个数，(u0，v0)是图像平面中心。

将上述关系转换为矩阵形式：

$\left[ \begin{matrix} u\\ v\\ 1 \end{matrix} \right]= \left[ \begin{matrix} \frac{1}{dx} & 0 & u0\\ 0 & \frac{1}{dy} & v0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x\\ y\\ 1 \end{matrix} \right]$

4.2、相机坐标系与图像坐标系

从相机坐标系到图像坐标系是一个三维坐标到二维坐标（3D->2D）的过程，称之为透视投影变换。为了求解它们之间的关系，将普通图像坐标（x，y）拓展为齐次坐标（x，y，1）。空间中的某点，投影到图像平面上的点与相机的光心在一条直线上。以光心为原点建立相机坐标系：

根据相似三角形关系可以得到以下：

△ABO_c ~ △oCO_c

△PBO_c ~ △pCO_c

$\frac{AB}{oC} = \frac{AO_c}{oO_c} = \frac{PB}{pC} = \frac{X_c}{x} = \frac{Z_c}{f} =\frac{Y_c}{y}$

$x = f \cdot \frac{X_c}{Z_c}, y = f \cdot \frac{Y_c}{Z_c}$

f为相机焦距（相机光心到成像平面的距离）

用矩阵形式表示为：

$Zc \left[ \begin{matrix} x\\ y \\ 1 \end{matrix} \right]= \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} Xc\\ Yc\\ Zc\\ 1 \end{matrix} \right]$

统一将成像平面上的点用(u,v)表示：

$Z \left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right]= \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} Xc\\ Yc\\ Z\\ 1 \end{matrix} \right]= \left[ \begin{matrix} f \cdot Xc\\ f \cdot Yc\\ 1 \end{matrix} \right]$

得图像点与空间点的关系为：

$u =\frac {f \cdot X_c}{Z}, v =\frac {f \cdot Y_c}{Z}$

4.3、世界坐标系与相机坐标系

世界坐标（Xw，Yw，Zw）与相机坐标（Xc，Yc，Zc）同为三维坐标（右手系，三轴互相垂直），两个坐标系的关系为刚体变换（刚体变换：当物体不发生形变时，对一个几何物体作旋转，平移的运动）。可以先凭空想象下，有两个坐标系A与B，如何将A坐标系下的坐标转换到B坐标系表示，首先将A坐标系以原点为基准任意旋转，使其x轴，y轴，z轴与B坐标轴平行且同方向，接着平移AB坐标系原点的直线距离，就可以将A坐标系下的坐标转换到B坐标系，这个旋转Rotation与平移Transport就是需要求得的两个三维坐标之间的关系。

用以下等式表示两个坐标系之间的关系：

$\left[ \begin{matrix} Xc\\ Yc \\ Zc \end{matrix} \right]= R \left[ \begin{matrix} Xw\\ Yw\\ Zw \end{matrix} \right] +T$

其中旋转矩阵R可以看成空间坐标分别沿着X，Y，Z轴的三个旋转矩阵点乘得到的结果。

当绕Z轴旋转 $\theta$角度，新旧坐标的关系为：

$\begin{cases} x = x'cos\theta - y'sin\theta \\ y = x'sin\theta + y'cos\theta \\ z = z' \end{cases}$

用矩阵表示为：

$\left[ \begin{matrix} x\\ y \\ z \end{matrix} \right]= \left[ \begin{matrix} cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R1 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right]$

同理，绕X轴，Y轴旋转 $\delta$和 $\omega$角度，可以得到：

$\left[ \begin{matrix} x\\ y \\ z \end{matrix} \right]= \left[ \begin{matrix} 1 & 0 & 0\\ 0 & cos\delta & sin\delta \\ 0 & -sin\delta & cos\delta \\ \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R2 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right]$

$\left[ \begin{matrix} x\\ y\\ z \end{matrix} \right]= \left[ \begin{matrix} cos\omega & 0 & -sin\omega\\ 0 & 1 & 0\\ sin\omega & 0 & cos\omega \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R3 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right]$

于是，得到旋转矩阵R = R1*R2*R3，维度为3X3，T为平移矩阵，维度为3X1。

拓展为其次坐标：

$\left[ \begin{matrix} Xc\\ Yc \\ Zc \\ 1 \end{matrix} \right]= \left[ \begin{matrix} R & T\\ 0 & 1 \end{matrix} \right] \left[ \begin{matrix} Xw\\ Yw\\ Zw\\ 1 \end{matrix} \right]$

4.4、从世界坐标到像素坐标

综合上面推导的过程，

以上顺序用矩阵表示为不断左乘下一步，即：

$Zc \left[ \begin{matrix} u\\ v \\ 1 \end{matrix} \right]= \left[ \begin{matrix} \frac{1}{dx} & 0 & u0\\ 0 & \frac{1}{dy} & v0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} R & T\\ 0 & 1 \end{matrix} \right] \left[ \begin{matrix} Xw\\ Yw\\ Zw\\ 1 \end{matrix} \right]$

等式右边的前两个矩阵称的乘积为相机内参，第三个矩阵称为相机外参(Toc)，后面的单目相机标定，就是为了求解相机的内外参数。

至此，机器视觉几何坐标概论记录完了，接下来会陆续记录我所参与的项目中包含标定的内容。