[Visão Estéreo (3)] Princípios do Método de Calibração Zhang Zhengyou

1. Calibração da câmera
2. Solução de parâmetros
3. Processo experimental

Esta é uma nota de estudo pessoal. Peguei emprestado muitas fotos e artigos bons (as referências estão no final do artigo), principalmente para classificar o conhecimento relevante a fim de formar meu próprio sistema. A expressão de texto é reunida e a fórmula simbólica é inserida manualmente. Por favor, indique se houver algum erro.

1. Calibração da câmera

A chamada calibração (calibração) é o processo de ajuste de um modelo de parâmetro por um grande número de observações, e o modelo de parâmetro aqui ajustado é conhecido, por isso é necessário explorar um esquema que possa facilmente obter um grande número de observações como tanto quanto possível. É mais útil resolver o valor do parâmetro único específico se ele também satisfizer algumas outras restrições geométricas.
Calibração da câmera, o objetivo é determinar a matriz de parâmetros internos $K$ , matriz de parâmetro externo $R, T$ e coeficientes de distorção $k_1,k_2,k_3,p_1,p_2$ 。

O método de calibração de Zhang fornece uma solução conveniente para obter um grande número de observações e, ao mesmo tempo, as observações também atendem a um tipo de restrições geométricas óbvias (ou seja, restrições planas), que podem resolver diretamente os parâmetros internos e externos. Seu método de operação é muito simples. Você só precisa fotografar o avião com o padrão da placa de calibração para concluir a calibração da câmera, o que reduz bastante a dificuldade de calibração. Se você não busca alta precisão, imprima um padrão de placa de calibração quadriculado e cole-o em uma superfície dura aproximadamente plana. A calibração pode ser concluída em papelão, o que acelera a introdução e popularização da visão estéreo e tem influência de longo alcance. É um clássico absoluto no campo da calibração de câmeras.
Deixando de lado o coeficiente de distorção por enquanto, as coordenadas de imagem conhecidas $p$ e coordenadas mundiais $P_w$ Estabeleça uma relação de projeção entre parâmetros internos e externos (matriz de projeção):

$\lambda {p}=K \begin{bmatriz} {R_{3\times3}}&{T_{ 3\times1}}\\ \end{bmatrix} \begin{bmatrix} {P_w}\\ {1}\\ \end{bmatrix}=M\begin{bmatrix} {P_w}\\ {1}\\ \ fim{bmatriz}$

para $r_i$ Denota a matriz de rotação $R$ 's $coluna i$ e use $t$ em vez de $T_{3\times1}$ , assumindo que o plano do modelo está no sistema de coordenadas mundial $C = No plano 0$ (símbolos unificados, o sistema de coordenadas mundiais aquié consistentea expressão anterior $P_w(U,V,W)$ ), então

$\lambda {p}=K \begin{bmatrix} r_1&r_2&r_3&t\\ \end{bmatrix } \begin{bmatrix} U\\V\\0\\1 \end{bmatrix}= K \begin{bmatrix} r_1&r_2&t\\ \end{bmatrix} \begin{bmatrix} U\\V\\1 \end {bmatriz}$

Como mencionado anteriormente , os pontos no plano de coordenadas mundiais estão relacionados a pontos em sua imagem por meio de uma matriz de homografia:

$\ lambda {p}=HP$
equação, $p=[u,v,1]^T$ ， $P = [U, V, 1]$ ， $H=R[r_1,,r_2,t]$ é $3\vezes 3$ matriz. ainda uso $h_i$ para representar em $H$ $coluna i$ . ter

$[h_1,h_2,h_3]=\Lambda K[r_1,r_2,t]$
onde $\Lambda$ é qualquer escalar ( $\Lambda$ é devido à invariância de escala de coordenadas homogêneas, também pode ser considerado igual a 1, deixe-o ser 1 aqui e ignore-o depois). $r_1$ e $r_2$ é a matriz de rotação $Os componentes da coluna de R$ , que são um par de bases ortonormais. satisfaz $r_1^Tr_2=0,r_1^Tr_1=r_2^Tr_2=1$ . Entre em contato com a fórmula acima:
$r_1=K^{-1}h_1\\r_2=K^{-1}h_2$
Assim:
$h_1^TK^{-T}K^{-1}h_2=0$ $h_1^TK^{-T}K^{-1}h_1=h_2^TK^{-T}K^{-1} h_2$

Pode-se ver que a matriz de homografia $H$ e matriz de referência interna $Os elementos de K$ satisfazem duas restrições de equação linear. A homografia tem 8 graus de liberdade e com 6 extrínsecos (3 para rotação e 3 para translação), podemos obter apenas 2 restrições nos intrínsecos.

2. Solução de parâmetros

De acordo com a estrutura do trabalho, parte-se da solução analítica, segue-se para a técnica de otimização não linear baseada no critério de máxima verossimilhança e, por fim, considera-se a distorção da câmera.

1) Solução fechada

Da mesma forma, substitua a parte do meio da equação acima por uma matriz simples (uma operação comum), seja
$^{-T}K^{-1}=\begin{bmatriz} B_{11}&B_{12}&B_{13}\\B_{12}&B_{22}&B_{23}\\B_{13 }&B_ {23}&B_{33}\\ \end{bmatrix}$
具体地:
$B=\begin{bmatrix} \Large \frac{1}{f_x^2} & \Large -\frac{s}{f_x^2f_y} & \Large \frac{v_0s-u_0f_y}{f_x ^2f_y}\\ \Grande-\frac{s}{f_x^2f_y} &\Grande \frac{s^2}{f_x^2f_y^2}+\frac{1}{f_y^2} &\Grande - \frac{s(v_0s-u_0f_y}{f_x^2f_y^2)} -\frac{v_0}{f_y^2}\\ \Grande \frac{v_0s-u_0f_y}{f_x^2f_y} & \Grande -\frac {s(v_0s-u_0f_y)}{f_x^2f_y^2} -\frac{v_0}{f_y^2}& \Large\frac{(v_0s-u_0f_y)^2}{f_x^2f_y^2} +\frac {v_0^2}{f_y^2}+1\\ \end{bmatriz}$

foi definido acima $H$ 's $i$ vetores coluna são $h_i=[h_{i1},h_{i2},h_{i3}]^T$ 。则有
$h_i^TBh_j =\begin{bmatrix}h_{i1}&h_{i2}&h_{i3}\end{bmatrix} \begin{bmatrix} B_{11}&B_{12}&B_{13}\\B_{12}&B_{22} &B_{23}\\B_{13}&B_{23}&B_{33}\\ \end{bmatriz} \begin{bmatriz}h_{j1}\\h_{j2}\\h_{j3}\end{bmatriz } \\=\begin{bmatrix}h_{i1}B_{11}+h_{i2}B_{12}+h_{i3}B_{13}&h_{i1}B_{12}+h_{i2}B_{ 22}+h_{i3}B_{23}&h_{i1}B_{13}+h_{i2}B_{23}+h_{i3}B_{33}\end{bmatrix}\begin{bmatrix}h_{j1 }\\h_{j2}\\h_{j3}\end{bmatriz}$ $=h_{i1}h_{j1}B_{11}+h_{i2}h_{j1}B_{12}+h_{i3}h_{j1}B_{ 13}+h_{i1}h_{j2}B_{12}+h_{i2}h_{j2}B_{22}+h_{i3}h_{j2}B_{23}+h_{i1}h_{j3} B_{13}+h_{i2}h_{j3}B_{23}+h_{i3}h_{j3}B_{33}$ $=\begin{bmatriz}h_{i1}h_{j1}&h_{i1}h_{j2}+h_{i2}h_{j1}&h_{i2}h_{j2}&h_{i3}h_ {j1}+h_{i1}h_{j3}&h_{i3}h_{j2}+h_{i2}h_{j3}&h_{i3}h_{j3}\end{bmatrix}\begin{bmatrix}B_{11 }\\B_{12} \\B_{22}\\B_{13} \\B_{23} \\B_{33}\end{bmatriz}$

fazer

$b=[B_{11} ,B_{12} ,B_{22},B_{13} ,B_{23} , B_{33}]^T$ $v_{ij}=[h_{i1}h_{j1},h_{i1}h_{j2}+h_{i2}h_{j1},h_{i2}h_{j2},h_{i3}h_{j1} +h_{i1}h_{j3},h_{i3}h_{j2}+h_{i2}h_{j3},h_{i3}h_{j3}]^T$
则有：
$h_i^TBh_j=v_{ij}^Tb$

(Observação: o artigo original forneceu diretamente a fórmula acima e fiquei surpreso ao descobrir que essa fórmula não é derivada, mas um coeficiente que é calculado primeiro e depois extraído, então aqui escolho calculá-lo novamente, o que é útil para compreensão.)

$h_i^TBh_j=v_{ij}^Tb$
e, em seguida, contate a matriz de homografia acima $H$ e matriz de referência interna $Os elementos de K$ satisfazem duas restrições de equação linear, e há

$\begin{bmatriz}v_{11}^T\\(v_{11}-v_{22})^T\end{bmatriz}b=0$
Depois que a câmera dispara o padrão da placa de calibração em uma pose, depois de extrair as coordenadas de pixel dos pontos de canto, a relação correspondente entre o sistema de coordenadas mundial e o sistema de coordenadas de pixel de todos os pontos de canto pode ser obtida e, em seguida, através dos mínimos quadrados solução das equações lineares Resolva a matriz de homografia $H$ , pode obter a fórmula acima. Mas tem apenas duas linhas, usadas para resolver o $O vetor b$ requer pelo menos 3 matrizes de homografia, ou seja, pelo menos 3 fotos são necessárias para completar a calibração da câmera. A equação total pode ser expressa como:
$Vb = 0$

Se o número de fotos for $n \geq 3$ , geralmente pode obter $Uma solução única para b$ (devido à equivalência de escala, o $Qualquer múltiplo de b$ ainda é a solução correta).
Se o número de fotos é $n = 2$ , você pode impor restrições imparciais $s = 0$ , coloque $[0, 1, 0, 0, 0, 0] b$ é adicionado à equação acima como uma equação adicional.
Se o número de fotos é $n = 2$ , pode-se supor que $u_, v_0, s$ são conhecidos (por exemplo, são todos 0) e $f_x, f_y$ Resolva isso.

Resolva para $Após b$ , todos os parâmetros intrínsecos da câmera podem ser calculados da seguinte forma (já que porcomposta por $b$ $B$ não satisfaz estritamente $B=K^{-T}K^{-1}$ , mas há um fator de escala arbitrário $\lambda$ (novamente) satisfaz $B=\lambda K^{-T}K^{-1}$ ）：

$v_0=\frac{B_{12}B_{13}-B_{11}B_{23}}{B_{11}B_{ 22}-B_{22}^2}$
$\lambda =B_{33}-\frac{B_{13}^2+v_0(B_{12}B_{ 13}-B_{11}B_{23})}{B_{11}}$
$f_x=\sqrt{\frac{\lambda }{B_{11}}}$
$f_y=\sqrt{\frac{\lambda B_{11}}{B_{11}B_{22}-B_{22}^2}}$

$s=-\frac{B_{12}f_x^2f_y}{\lambda}$
$u_0=\frac{sv_0}{f_x}-\frac{B_{13}f_x^2}{\lambda}$

Quando a matriz de parâmetros internos $Depois que K$ de cada pose $R, T$ pode ser ainda obtido:
$r_1=\lambda K^{- 1}h_1\\ r_2=\lambda K^{-1}h_2\\ r_3=r_1 \times r_2\\ t=\lambda K^{-1}h_3$
onde, $\lambda=\frac{1}{|| K^{-1}h_1 ||}=\frac{ 1}{|| K^{-1}h_2 ||}$ . Devido à presença de ruído nos dados, a matriz calculada $R$ geralmente não satisfaz a natureza da matriz de rotação, e a matriz de rotação ótima pode ser obtida pela decomposição de valor singular.

2) Solução de máxima verossimilhança

A solução acima é obtida minimizando uma distância algébrica que não tem significado físico. Devido à existência de ruído, a solução não será muito precisa. Podemos obter uma solução mais precisa por meio da estimativa de máxima verossimilhança.
para um determinado plano de placa de calibração $n$ imagens com $m$ pontos. Assume-se que o ruído dos pontos da imagem é independente e identicamente distribuído. A estimativa de máxima verossimilhança pode ser obtida minimizando a seguinte função:

$\sum\limits_{i=1}^{n}\sum\limits_{j= 1}^{m}||p_{ij}-\hat p(K,R_i,t_i,P_j)||^2$

其中 $\hat p(K,R_i,t_i,P_j)$ é o ponto espacial $P_j$ na imagem Ponto de projeção em $i .$ Matriz de rotação $R$ pode ser composto de três vetores $r$ significa que $r$ é paralelo ao eixo de rotação e sua magnitude (comprimento do modo) é igual ao ângulo de rotação. $R$ e $r$ através da fórmula de Rodrigues (Rodrigues) ligada. A minimização da fórmula acima é um problema de minimização não linear, que pode ser resolvido pelo algoritmo de Levenberg-Marquardt. Esse tipo de problema requer um valor inicial mais preciso, e a solução fechada mencionada acima pode ser usada como valor inicial.

3) Considere a distorção da câmera

Como mencionado acima , três parâmetros de distorção radial $k_1, k_2, k_3 são geralmente considerados durante a correção da distorção$ e dois parâmetros de distorção tangencial $p_1, p_2$ , na calibração de Zhang, apenas dois parâmetros de distorção radial $k_1, k_2 são considerados$ . Mais termos serão considerados na aplicação prática, o princípio é o mesmo.
Coordenadas precisas e não distorcidas não podem ser calculadas quando os parâmetros internos e externos são desconhecidos (as observações estão sempre em erro), mas os parâmetros de distorção não são considerados ao estimar os parâmetros internos e externos (mordendo a cauda). Não importa, a teoria do conceito entrará em ação: use os parâmetros internos e externos obtidos pela solução fechada como valor inicial, encontre as coordenadas ideais aproximadas e, em seguida, estabeleça um sistema de equações lineares de acordo com a fórmula de correção de distorção para resolver o k 1 aproximado, k 2 k_1, $k_2$ Como um valor inicial para a seguinte estimativa de máxima verossimilhança:
$\sum\ limites_{i=1}^{n}\sum\limits_{j=1}^{m}||p_{ij}-\hat p(K,k_1,k_2,R_i,t_i,P_j)||^2$
Resolva todos os parâmetros internos e externos e coeficientes de distorção pelo método de solução não linear.
De fato, como o valor do coeficiente de distorção é muito pequeno, também é possível definir diretamente todos os valores iniciais do coeficiente de distorção como 0, o que não precisa resolver o sistema de equações lineares.

3. Processo experimental

Resuma o processo de calibração de Zhang:

Imprima o padrão de calibração e cole-o em uma superfície plana, chamada placa de calibração.
Tire várias imagens do quadro de calibração em diferentes poses movendo a câmera ou movendo o quadro de calibração (número de imagens >=3).
Detecte pontos característicos (pontos de canto ou pontos centrais do círculo) em todas as imagens.
Resolva todos os parâmetros intrínsecos e extrínsecos usando o método de solução fechada.
Calcule parâmetros internos e externos precisos e coeficientes de distorção por meio de otimização não linear (o valor inicial do coeficiente de distorção pode ser resolvido pelas equações lineares de correção de distorção ou diretamente atribuído a 0).

insira a descrição da imagem aqui