图像几何变化

梳理一下常见的图像几何变换及校正方式。参考资料来自《Computer Vision:Algorithms and Applications 》Richard Szeliski

---

图像几何变换

由于拍摄角度的不固定，图像出现几何变换，平移、旋转、尺度、仿射、投影等。如车牌检测的预处理，要将车牌校正，变成一个矩形。

• translation
  2D的平移，$x'=x+t$
  $$\bar{x}'=\begin{bmatrix} I &t \\ 0 &1 \end{bmatrix}\bar{x}$$

• rotation+translation
  2D刚性运动，$x'=Rx+t$
  

  $${R}=\begin{bmatrix}\ cos \theta &-\sin \theta \\ \sin\theta & \cos\theta \end{bmatrix}$$
  正交旋转矩阵，欧式距离保持不变

• scaled rotation
  “相似”变化，$x'=sRx+t$, $s$代表尺度因子
  

  $$x'=\begin{bmatrix} sR &t \end{bmatrix}\bar{x} = \begin{bmatrix} a&-b&t_{x} \\b&a&t_{y} \end{bmatrix} \bar{x}$$ 相似变换保持直线间的夹角不变

• stretch/squash
  改变图像的aspect ratio

  $$x'=s_{x}x+t_{x}$$ $$y'=s_{y}y+t_{y}$$

• affine
  仿射变换写作$x'=A\bar{x}$,$A$是一个$3\times4$的矩阵
  

  $$x'=\begin{bmatrix}a_{00}&a_{01}&a_{02}&a_{03}\\a_{10}&a_{11}&a_{12}&a_{13}\\a_{20}&a_{21}&a_{22}&a_{23} \end{bmatrix} \bar x$$

平行线和平行平面在经过仿射变换之后仍然保持平行。
- projective
投影变换，3D透视变换

$$\tilde{x}'=\tilde{H}\tilde{x},$$ $$x'=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+h_{22}}$$ $$y'=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+h_{22}}$$
直线在经过投影变换之后还是直线
- 双线性内插
$$x'=a_0+a_1x+a_2y+a_6xy$$ $$y'=a_3+a_4x+a_5y+a_7xy$$ 双线性内插一般用来resize图像

---

图像校正

存在明显特征的图像，可以提取特征点，然后配准求变换矩阵。注意选用的特征是否本身具备尺度、旋转不变性等。
如果只需要进行图像旋转校正，可以使用霍夫变换检测直线然后计算角度。我的理解，将坐标$(x,y)$转到参数空间$(\rho,\theta)$，变成$(\rho \cos\theta,\rho \sin\theta)$,通过点$(x,y)$的直线就变成了正弦曲线。在参数空间中，找到$(\rho,\theta)$的极值点，就对应一条直线。
得到直线的斜率之后，将图片旋转、“掰正”。这时候图像存在黑色背景，然后根据斜率的符号确定图像的旋转方向，进而得到图形的有效区域。
直线检测也可以通过拟合得到，基于最小二乘和RANSAC得到直线方程。