El propósito de la calibración de la cámara es establecer la relación entre el sistema de coordenadas de píxeles y el sistema de coordenadas mundial. El principio es resolver los parámetros del modelo de la cámara a partir de las coordenadas de la imagen de los puntos característicos conocidos según el modelo de la cámara, de modo que las coordenadas tridimensionales de los puntos espaciales puedan recuperarse de la imagen. Los parámetros a resolver incluyen 4 parámetros internos y 5 parámetros de distorsión, y los parámetros externos son tres parámetros de rotación de la matriz de rotación y tres parámetros del vector de traducción.
1. Modelo de cámara estenopeica
En general, hay tres modelos de imágenes de cámara: modelo de proyección de lente (modelo de cámara estenopeica), modelo de proyección ortográfica y modelo de proyección en perspectiva. Como sigue:
¿Cuál es la distancia focal? La distancia focal de una lente es básicamente la distancia desde el punto central de la lente hasta el plano de la película o CCD digital que forma una imagen clara.
La relación entre la distancia al objeto u, la distancia focal f y el momento de fase v es la siguiente:
2. Cuatro sistemas de coordenadas principales
1. Sistema de coordenadas de píxeles y sistema de coordenadas de imagen (plano CCD)
El origen del sistema de coordenadas de píxeles es la esquina superior izquierda de la imagen, es decir, el sistema de coordenadas uv; el origen del sistema de coordenadas de la imagen es el centro de la imagen, es decir, el sistema de coordenadas xy. La relación de mapeo es la siguiente:
Exprese la fórmula anterior en forma de coordenadas homogéneas y matriz, como sigue:
Suponiendo que la unidad en el sistema de coordenadas de la imagen es mm, la unidad de dx es mm/píxel y la unidad de x/dx es píxel. La relación inversa de la fórmula anterior es la siguiente:
2. Sistema de coordenadas de la cámara
El punto O es el centro óptico de la cámara, y el sistema de coordenadas rectangulares compuesto por el punto O y el eje es el sistema de coordenadas de la cámara, que
es la distancia focal de la cámara,
y el eje es el eje óptico de la cámara, y es perpendicular al plano de la imagen.
3. Sistema de coordenadas mundial
El sistema de coordenadas mundiales se introduce para describir la posición de la cámara, es decir, el sistema de coordenadas mundiales. El vector de traslación t y la matriz de rotación R se utilizan para representar la relación entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundiales. Suponga que las coordenadas homogéneas del punto espacial P en el sistema de coordenadas universales son
, y las coordenadas homogéneas en las coordenadas de la cámara son
. Como sigue:
Entre ellos, R es una matriz identidad ortogonal de 3 × 3 (es decir, una matriz de rotación) y t es un vector de traslación tridimensional. Vector ,
que es una matriz de 4×4.
La relación entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundial es la siguiente:
(1) Matriz de rotación R
En el espacio tridimensional, las rotaciones se pueden descomponer en rotaciones bidimensionales sobre los respectivos ejes de coordenadas, donde la métrica del eje de rotación permanece sin cambios. Si los ángulos ψ, φ y θ se rotan alrededor de los ejes x, y y z, entonces la matriz de rotación total R es el producto de las tres matrices Rx(ψ), Ry(φ) y Rz(θ ). Como sigue:
(2) Vector de traslación t
El vector de traslación es el desplazamiento del origen de la primera coordenada desde el origen de la segunda coordenada. Para pasar del sistema de coordenadas con el centro del objeto como origen a otro sistema de coordenadas con la cámara como origen, el vector de traslación correspondiente es t=origen del objeto-origen de la cámara. Luego, de las coordenadas en el sistema de coordenadas del mundo a las coordenadas en el sistema de coordenadas de la cámara
, de la siguiente manera:
La rotación tridimensional está representada por los ángulos ψ, φ y θ, y la traslación tridimensional está representada por los parámetros , con un total de 6 parámetros. Los parámetros internos (matriz de la cámara) son
y los parámetros externos son R y t.
3. Modelo de cámara y calibración de cámara.
1. Modelo de cámara ideal (modelo lineal)
De acuerdo con el modelo de cámara estenopeica, el punto de proyección de cualquier punto en el plano de la imagen
es la línea que conecta C (centro óptico, es decir, el centro de proyección) y
. Por relación proporcional, así:
Exprese la fórmula anterior en forma de matriz y coordenadas homogéneas (sistema de coordenadas de la cámara y sistema de coordenadas de la imagen), de la siguiente manera:
Sistema de coordenadas de píxeles y sistema de coordenadas de imagen, sistema de coordenadas mundial y sistema de coordenadas de cámara, de la siguiente manera:
Poniéndolo todo junto, se ve así:
La fórmula anterior completa la conversión del sistema de coordenadas mundiales (la unidad es un milímetro) al sistema de coordenadas de píxeles (la unidad es un píxel), y ha experimentado la transformación del sistema de coordenadas mundiales al sistema de coordenadas de la cámara, del sistema de coordenadas de la cámara al sistema de coordenadas de la cámara. sistema de coordenadas de la imagen y del sistema de coordenadas de la imagen al sistema de coordenadas de píxeles. Entre ellos, y
.
M es una matriz de proyección de 3 × 4. M1 está completamente determinada por los parámetros internos de la cámara ,
que representan respectivamente los factores de escala en el eje u y el eje v de la imagen, que
son las coordenadas del punto principal. está completamente determinado por los parámetros externos de la cámara, y la calibración de la cámara es para determinar los parámetros internos y externos de la cámara. El sistema de coordenadas de píxeles se puede obtener del sistema de coordenadas mundial, pero el sistema de coordenadas mundial no se puede obtener del sistema de coordenadas de píxeles, porque la matriz de proyección M es una matriz irreversible de 3 × 4. Intuitivamente, los puntos de proyección de todos los puntos espaciales ubicados en el rayo OP son el punto p.
2. Modelo de cámara real (modelo no lineal)
La calibración de la cámara es el proceso de determinar los parámetros internos o externos de la cámara. Los parámetros internos se refieren a las características geométricas y ópticas internas de la cámara, y los parámetros externos de la cámara se refieren al vector de traslación y la matriz de rotación del sistema de coordenadas del mundo al sistema de coordenadas de la cámara. El modelo de cámara real, de la siguiente manera:
Entre ellos, m representa las coordenadas físicas en el sistema de coordenadas del plano de la imagen del punto de proyección real, y m' representa las coordenadas físicas en el sistema de coordenadas del plano de la imagen del punto de proyección ideal. A continuación, solo se consideran la distorsión radial y la distorsión tangencial, y no se consideran la distorsión excéntrica ni la distorsión de prisma delgado.
(1) Distorsión radial
La distorsión radial ocurre porque los rayos de luz están más curvados alejándose del centro de la lente que cerca del centro. Como sigue:
(2) Distorsión tangencial
La distorsión tangencial es causada por defectos en la fabricación de la cámara que hacen que la lente no sea paralela al plano de la imagen. Como sigue:
Entre ellos, está el coeficiente de distorsión radial,
es el coeficiente de distorsión tangencial,
es el radio radial,
.
4. Implementación de calibración de cámara monocular OpenCV [3]
referencias:
[1] El principio de la calibración de la visión monocular: http://www.cnblogs.com/polly333/p/4994408.html
[2] Modelo de cámara detallado: http://blog.csdn.net/lsh_2013/article/details/47615309
[3] Calibración de cámara monocular OpenCV: http://blog.csdn.net/t247555529/article/details/47836233
El propósito de la calibración de la cámara es establecer la relación entre el sistema de coordenadas de píxeles y el sistema de coordenadas mundial. El principio es resolver los parámetros del modelo de la cámara a partir de las coordenadas de la imagen de los puntos característicos conocidos según el modelo de la cámara, de modo que las coordenadas tridimensionales de los puntos espaciales puedan recuperarse de la imagen. Los parámetros a resolver incluyen 4 parámetros internos y 5 parámetros de distorsión, y los parámetros externos son tres parámetros de rotación de la matriz de rotación y tres parámetros del vector de traducción.
1. Modelo de cámara estenopeica
En general, hay tres modelos de imágenes de cámara: modelo de proyección de lente (modelo de cámara estenopeica), modelo de proyección ortográfica y modelo de proyección en perspectiva. Como sigue:
¿Cuál es la distancia focal? La distancia focal de una lente es básicamente la distancia desde el punto central de la lente hasta el plano de la película o CCD digital que forma una imagen clara.
La relación entre la distancia al objeto u, la distancia focal f y el momento de fase v es la siguiente:
2. Cuatro sistemas de coordenadas principales
1. Sistema de coordenadas de píxeles y sistema de coordenadas de imagen (plano CCD)
El origen del sistema de coordenadas de píxeles es la esquina superior izquierda de la imagen, es decir, el sistema de coordenadas uv; el origen del sistema de coordenadas de la imagen es el centro de la imagen, es decir, el sistema de coordenadas xy. La relación de mapeo es la siguiente:
Exprese la fórmula anterior en forma de coordenadas homogéneas y matriz, como sigue:
Suponiendo que la unidad en el sistema de coordenadas de la imagen es mm, la unidad de dx es mm/píxel y la unidad de x/dx es píxel. La relación inversa de la fórmula anterior es la siguiente:
2. Sistema de coordenadas de la cámara
El punto O es el centro óptico de la cámara, y el sistema de coordenadas rectangulares compuesto por el punto O y el eje es el sistema de coordenadas de la cámara, que
es la distancia focal de la cámara,
y el eje es el eje óptico de la cámara, y es perpendicular al plano de la imagen.
3. Sistema de coordenadas mundial
El sistema de coordenadas mundiales se introduce para describir la posición de la cámara, es decir, el sistema de coordenadas mundiales. El vector de traslación t y la matriz de rotación R se utilizan para representar la relación entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundiales. Suponga que las coordenadas homogéneas del punto espacial P en el sistema de coordenadas universales son
, y las coordenadas homogéneas en las coordenadas de la cámara son
. Como sigue:
Entre ellos, R es una matriz identidad ortogonal de 3 × 3 (es decir, una matriz de rotación) y t es un vector de traslación tridimensional. Vector ,
que es una matriz de 4×4.
La relación entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundial es la siguiente:
(1) Matriz de rotación R
En el espacio tridimensional, las rotaciones se pueden descomponer en rotaciones bidimensionales sobre los respectivos ejes de coordenadas, donde la métrica del eje de rotación permanece sin cambios. Si los ángulos ψ, φ y θ se rotan alrededor de los ejes x, y y z, entonces la matriz de rotación total R es el producto de las tres matrices Rx(ψ), Ry(φ) y Rz(θ ). Como sigue:
(2) Vector de traslación t
El vector de traslación es el desplazamiento del origen de la primera coordenada desde el origen de la segunda coordenada. Para pasar del sistema de coordenadas con el centro del objeto como origen a otro sistema de coordenadas con la cámara como origen, el vector de traslación correspondiente es t=origen del objeto-origen de la cámara. Luego, de las coordenadas en el sistema de coordenadas del mundo a las coordenadas en el sistema de coordenadas de la cámara
, de la siguiente manera:
La rotación tridimensional está representada por los ángulos ψ, φ y θ, y la traslación tridimensional está representada por los parámetros , con un total de 6 parámetros. Los parámetros internos (matriz de la cámara) son
y los parámetros externos son R y t.
3. Modelo de cámara y calibración de cámara.
1. Modelo de cámara ideal (modelo lineal)
De acuerdo con el modelo de cámara estenopeica, el punto de proyección de cualquier punto en el plano de la imagen
es la línea que conecta C (centro óptico, es decir, el centro de proyección) y
. Por relación proporcional, así:
Exprese la fórmula anterior en forma de matriz y coordenadas homogéneas (sistema de coordenadas de la cámara y sistema de coordenadas de la imagen), de la siguiente manera:
Sistema de coordenadas de píxeles y sistema de coordenadas de imagen, sistema de coordenadas mundial y sistema de coordenadas de cámara, de la siguiente manera:
Poniéndolo todo junto, se ve así:
La fórmula anterior completa la conversión del sistema de coordenadas mundiales (la unidad es un milímetro) al sistema de coordenadas de píxeles (la unidad es un píxel), y ha experimentado la transformación del sistema de coordenadas mundiales al sistema de coordenadas de la cámara, del sistema de coordenadas de la cámara al sistema de coordenadas de la cámara. sistema de coordenadas de la imagen y del sistema de coordenadas de la imagen al sistema de coordenadas de píxeles. Entre ellos, y
.
M es una matriz de proyección de 3 × 4. M1 está completamente determinada por los parámetros internos de la cámara ,
que representan respectivamente los factores de escala en el eje u y el eje v de la imagen, que
son las coordenadas del punto principal. está completamente determinado por los parámetros externos de la cámara, y la calibración de la cámara es para determinar los parámetros internos y externos de la cámara. El sistema de coordenadas de píxeles se puede obtener del sistema de coordenadas mundial, pero el sistema de coordenadas mundial no se puede obtener del sistema de coordenadas de píxeles, porque la matriz de proyección M es una matriz irreversible de 3 × 4. Intuitivamente, los puntos de proyección de todos los puntos espaciales ubicados en el rayo OP son el punto p.
2. Modelo de cámara real (modelo no lineal)
La calibración de la cámara es el proceso de determinar los parámetros internos o externos de la cámara. Los parámetros internos se refieren a las características geométricas y ópticas internas de la cámara, y los parámetros externos de la cámara se refieren al vector de traslación y la matriz de rotación del sistema de coordenadas del mundo al sistema de coordenadas de la cámara. El modelo de cámara real, de la siguiente manera:
Entre ellos, m representa las coordenadas físicas en el sistema de coordenadas del plano de la imagen del punto de proyección real, y m' representa las coordenadas físicas en el sistema de coordenadas del plano de la imagen del punto de proyección ideal. A continuación, solo se consideran la distorsión radial y la distorsión tangencial, y no se consideran la distorsión excéntrica ni la distorsión de prisma delgado.
(1) Distorsión radial
La distorsión radial ocurre porque los rayos de luz están más curvados alejándose del centro de la lente que cerca del centro. Como sigue:
(2) Distorsión tangencial
La distorsión tangencial es causada por defectos en la fabricación de la cámara que hacen que la lente no sea paralela al plano de la imagen. Como sigue:
Entre ellos, está el coeficiente de distorsión radial,
es el coeficiente de distorsión tangencial,
es el radio radial,
.
4. Implementación de calibración de cámara monocular OpenCV [3]
referencias:
[1] El principio de la calibración de la visión monocular: http://www.cnblogs.com/polly333/p/4994408.html
[2] Modelo de cámara detallado: http://blog.csdn.net/lsh_2013/article/details/47615309
[3] Calibración de cámara monocular OpenCV: http://blog.csdn.net/t247555529/article/details/47836233