CS231A：Camera Calibration

射影矩阵 $M$

内参部分，图像平面到像素平面

在有 $\theta$的情况下：

其他的参数还是那样的，此时：

$内参相关公式$
$M = (K\ 0)$

外参部分，世界坐标系到像素坐标系

$^CP$是相机坐标系的点，就是和内参相关的公式的右边的 $P$
$^WP$是世界坐标系的点
此时:

$外参相关公式$
关于 $Z$，是一个很重要的信息，而且是和 $M$、 $P$相关的，现在假定 $m_1^T, m_2^T,m_3^T$是 $M$的三行，那么：
$Z= m_3 \cdot P$

$m_3$是列啊，怎么能和P点乘，还是说这里不是矩阵运算，而是对位相乘？ $M$的第三行
这里应该就是点乘的意思

外参相关公式也常写成下面这种形式，这种形式有利于求 $M$：

再假定 $r_1^T ,r_2^T ,r_3^T$是 $R$矩阵的行， $t_1,t_2,t_3$是 $t$向量的元素，此时 $M$矩阵可以写成：

$将11个参数明确显示的M矩阵$

解决的问题

从场景的特定位置估计相机的内外参，通过校正可以让实际的位置和理论上的位置之间的误差最小化。

$校准装置，由三个画在正交平面的网格构成$
假设 $P_i(i=1,...,n)$是一直的齐次坐标向量 $P_i$的基准点，位置是 $(x_i,y_i)$。

在没有建模和测量误差的情况下，校正就相当于寻找一个内外参的参数 $\xi$:

$公式1$
$m_i^T(\xi)$表示射影矩阵 $M$的 $i^{th}$行， $M$:

一般，测量出来的值的数量要大于未知数的数量(比如11个参数需要6个点，但是现实中采集的数据一般都是有噪声的，所以会使用很多点)，上面的式子解不出精确的结果，还是要看最小二乘法的解。

$左：491个3D点在校准装置上\ 右：对应的图像点$

校准装置也就是个坐标系，通过对这个坐标系中的点进行投影，得到图像点的信息，就能看出校准程度，也能用来校准

线性方法

校准问题分为两步：

1. 与摄像机相关的透视投影矩阵 $M$的计算
2. 利用该矩阵估计相机的内外参数

$M$里面不是已经包含内外参了吗？

估计投影矩阵

首先假定是nonzero skew，投影矩阵 $M$不是奇异的，而是任意的

只有行数和列数相同才有奇异非奇异概念，显然 $M$是 $3\times 4$矩阵
奇异矩阵就是不可逆矩阵

对 公式 1 做去分母操作，然后移项让右边为0 ( $\xi$省略没写)：

$公式2$
其中的 $x,y$就是像素平民啊这两个式子包含了 $M$的所有参数，然后联立所有的 $n$个基准点，就能得到 $2n$个等式，约束所有的等式，得到方程：


如上所说，11个参数，至少要12个信息，就是 $n>6$。

解法：
齐次线性最小二乘可以用最小化 $||pm||^2$ 来计算单位向量m的值，其中 $m$服从于 $||m||^2=1$，求出来的值 $12\times 12$矩阵 $p^Tp$的和最小的特征值相关的特征向量

最小二乘计算的条件就是等式和误差值，这两个都有了
也可以用上节课学到的方法，直接计算P的SVD，其中V的列，也就是 $V^T$的行就是 $p^Tp$的特征向量， $V$的最小一列就是最小特征值对应的解，就是想要的 $m$

但是这个 $m$是有比例因子在其中的，就是下文的 $\rho$

Degenerate Point Configurations

这块没看懂，就是说这个方法有失效的时候，比如说所有的点都在一个平面的时候，就无法求解

估计内外参

现在把估计出来的 $M$写成 $M=(A\ b)$，用 $a_1^T,a_2^T,a_3^T$来表示 $A$的行。

就跟第一节课的约束一样，将 $M$拆分开，其中 $A$部分与 $R$相关，与 $t$无关。
不过为什么约束只拿 $A$做文章呢？

$公式3$
这里的 $\rho$是一个未知的比例因子，复原出来的单位矩阵 $M$具有 unit Frobeius 形式：
$||M||_F = ||m|| = 1$

这个约束有什么用呢？

利用旋转矩阵的每一行都有单位长度并且互相垂直，可以得出：

其中 $\varepsilon = \mp 1$

这里， $r_3$是旋转矩阵的行，而 $a_3$是未经缩放的 $M$的 $A$的行,由 公式 3 得出的，这里应该是为了让 $M$满足上面那个约束把，所以才需要一个缩放。
答:不是为了满足约束，而是本来就存在一个缩放因子
所以之前求出来的 $M$，就是未缩放的，也就是生成 $A$的 $M$，所以 $r_3$才是我们需要求的
而 $r_3$只是单位向量，能表示某一轴的旋转即可

之后， $\theta$的大小是 $\frac{\pi}{2}$附近，这个数值范围内的 $sine$是正的，用如下公式可得 $\theta \ \alpha \ \beta$:

并没有手动算，应该就是利用了不同的 $r$之间相互垂直的属性，简化成了右式

剩下的 $r_1,r_2$求法公式：

位移 $t$可以由公式 $Kt = \rho b$得出：
$t = \rho K^{-1}b$
由于之前使用的 $\varepsilon$有两个解，所以求出的 $R,t$的解也有两个，这时候，一般 $t_3$的正负是已知的，这样就能锁定一个解

$t_3$的正负就是物体在摄像头的前面或后面，一般都是已知的

至此，相机的内外参数就已经全部求出来了