《计算机视觉》集大网课笔记【3】

K阵（内部参数矩阵）：焦距信息，像主点偏移信息（x0,y0）。
外阵：描述相机拍摄过程中不同位置和姿态信息。由旋转角参数矩阵和位移矩阵组合。

s：畸变参数。
a：由于生产过程中像素不一定为正方形（长宽比值不同），因此用a表示长宽比值。

图像畸变原因：

透镜质量原因
光线在远离透镜中心的地方比靠近中心的地方更加弯曲
中短焦距：桶状畸变长焦距：枕型畸变

pitch是围绕X轴旋转，也叫做俯仰角。yaw是围绕Y轴旋转，也叫偏航角。roll是围绕Z轴旋转，也叫翻滚角。

两类参数的总结：

两个矩阵相乘得到三行四列矩阵的过程，完成了空间中的点到图像中点的对应关系。

相机标定中，同步标定内部参数和外部参数，一般包括两种策略：

光学标定：利用已知的几何信息（如定长棋盘格）实现参数求解。
自标定：在静态场景中利用 structure from motion 估算参数。

标定参数线性回归

通过空间中已知坐标的（特征）点（Xi,Yi,Zi），以及它们在图像中的对应坐标（ui,vi），直接估算11个待求解的内部和外部参数。

u,v是可观测的，X,Y,Z是生产中已知的点信息。

最小二乘解： $m*=A^{T}A$ 最小特征值对应的特征向量
需要至少6对匹配特征

优点：

所有相机参数集中在一个矩阵中，便于求解
通过矩阵可以直接描述世界坐标中的三维点，到二维图像平面中点的映射关系

缺点：

无法得知具体内参数和外参数
求解出的11个未知量，比待定参数（9个）更多、带来了参数不独立/相关的问题
对噪声/ 误差敏感
高精度的标定板难以制作

2D图像点： $m=[u,v]^{T}$
3D空间点： $M=[X,Y,Z]^{T}$
齐次坐标： $\tilde{m}=[u,v,1]^{T},\tilde{M}=[X,Y,Z,1]^{T}$
描述空间坐标到图像坐标的映射
s：世界坐标系到图像坐标系的尺度因子
K：相机内参矩阵
(u0,v0)：像主点坐标
α,β：焦距与像素横纵比的融合
γ：径向畸变参数

张正友标定法：多角度对棋盘格进行拍摄

设棋盘格位于Z=0（XOY平面上）
定义旋转矩阵R的第i列为 $r_{i}$ ，则有： $s\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=K\left[\begin{array}{llll} \mathbf{r}_{1} & \mathbf{r}_{2} & \mathbf{r}_{3} & \mathbf{t} \end{array}\right]\left[\begin{array}{c} X \\ Y \\ 0 \\ 1 \end{array}\right]=K\left[\begin{array}{lll} \mathbf{r}_{1} & \mathbf{r}_{2} & \mathbf{t} \end{array}\right]\left[\begin{array}{c} X \\ Y \\ 1 \end{array}\right]$
于是空间到图像的映射可改为： $s \tilde{\mathbf{m}}=\mathbf{H} \tilde{\mathbf{M}} \quad \mathbf{H}=K\left[\begin{array}{lll} \mathbf{r}_{1} & \mathbf{r}_{2} & \mathbf{t} \end{array}\right]$
其中H是单应变换Homographic矩阵，可通过最小二乘，从角点世界坐标到图像坐标的关系求解
H矩阵可以根据特征点/棋盘格角点的空间坐标，以及其图像坐标用最小二乘法很容易求解。
令H为H=[h1 h2 h3]
[h1 h2 h3]=λK[r1 r2 t]
Homography有8个自由度
由r1和r2正交，且r1和r2的模相等，可以得到如下约束:
$K^{-1}\left[\begin{array}{lll} \mathbf{h}_{1} & \mathbf{h}_{2} & \mathbf{h}_{3} \end{array}\right]=\lambda\left[\begin{array}{lll} \mathbf{r}_{1} & \mathbf{r}_{2} & \mathbf{t} \end{array}\right]$
$\mathbf{r}_{1}^{T} \mathbf{r}_{2}=0 \Rightarrow \quad \mathbf{h}_{1}^{T} K^{-T} K^{-1} \mathbf{h}_{2}=0$ 正交
$\left\|\mathbf{r}_{1}\right\|=\left\|\mathbf{r}_{2}\right\| \Rightarrow \mathbf{h}_{1}^{T} K^{-T} K^{-1} \mathbf{h}_{1}=\mathbf{h}_{2}^{T} K^{-T} K^{-1} \mathbf{h}_{2}$ 模相等
定义 $\mathbf{B}=\mathbf{K}^{-\boldsymbol{T}} \mathbf{K}^{-1} \equiv\left[\begin{array}{lll} B_{11} & B_{21} & B_{31} \\ B_{12} & B_{22} & B_{32} \\ B_{13} & B_{23} & B_{33} \end{array}\right]$
$=\left[\begin{array}{ccc} \frac{1}{\alpha^{2}} & -\frac{\gamma}{\alpha^{2} \beta} & \frac{v_{0} \gamma-u_{0} \beta}{\alpha^{2} \beta} \\ -\frac{\gamma}{\alpha^{2} \beta} & \frac{\gamma^{2}}{\alpha^{2} \beta^{2}}+\frac{1}{\beta^{2}} & -\frac{\gamma\left(v_{0} \gamma-u_{0} \beta\right)}{\alpha^{2} \beta^{2}}-\frac{v_{0}^{2}}{\beta^{2}} \\ \frac{v_{0} \gamma-u_{0} \beta}{\alpha^{2} \beta} & -\frac{\gamma\left(v_{0} \gamma-u_{0} \beta\right)}{\alpha^{2} \beta^{2}}-\frac{v_{0}^{2}}{\beta^{2}} & \frac{\left(v_{0} \gamma-u_{0} \beta\right)^{2}}{\alpha^{2} \beta^{2}}+\frac{v_{0}^{2}}{\beta^{2}}+1 \end{array}\right]$
B是对称阵，其未知量可表示为6D向量b
$b=[B_{11}\, B_{12}\, B_{22}\, B_{13}\, B_{23}\, B_{33}]^{T}$
设H中的第i列为hi
$h_{i}=[h_{i1}\; h_{i3}\;h_{i3}\; ]^{T}$
根据b的定义，可以推导出如下公式
$h_{i}^{T}Bh_{j}=v_{ij}^{T}b$
$v_{ij}=\left[\begin{array}{llllll} h_{i 1} h_{j 1} & h_{i 1} h_{j 2}+h_{i 2} h_{j 1} & h_{i 2} h_{j 2} & h_{i 3} h_{j 1}+h_{i 1} h_{j 3} & h_{i 3} h_{j 2}+h_{i 2} h_{j 3} & h_{i 3} h_{j 3} \end{array}\right]^{T}$
可以推导出
$\left[\begin{array}{c} \mathbf{v}_{12}^{T} \\ \left(\mathbf{v}_{11}-\mathbf{v}_{22}\right)^{T} \end{array}\right] \mathbf{b}=0$
如果有n组观察图像，则v是2n×6的矩阵
Vb = 0
根据最小二乘定义，Vb=0的解释 $V^{T}V$ 最小特征值对应的特征向量
因此，可以直接估算出b，后续可以通过b求解内参
当观测平面n≥3时，可以得到b的唯一解
当n=2时，一般可令畸变参数γ=0
当n=1时，仅能估算出α与β，此时一般可假定像主点坐标u0与v0为0
$B=K^{T}K^{-1}$
B是通过b构造的对称矩阵
内部参数可通过如下公式计算（cholesky分解）：
外部参数可通过Homography求解，由H=[h1 h2 h3]=λK[r1 r2 t]，可推出
一般而言，求解出的R=[r1 r2 r3]不会满足正交与归一的标准
在实际操作中，R可以通过SVD分解实现规范化