1. Definición y función de la calibración de la cámara.
La calibración de la cámara se refiere al cálculo de los parámetros internos, los parámetros externos y los parámetros de distorsión de la lente de una o varias cámaras con la ayuda de placas de calibración.
efecto:
Restaure la imagen distorsionada a una imagen normal, sentando las bases para el cosido posterior, SLAM, etc.
La calibración multicámara puede transformar todas las salidas de cámara al mismo sistema de coordenadas.
La calibración de la cámara es un paso esencial en las aplicaciones de visión 3D y se usa ampliamente en brazos robóticos, posicionamiento y mapeo de robots, calibración de teléfonos inteligentes/coches autónomos, unión de imágenes y reconstrucción 3D.
2. Por qué es necesaria la calibración de la cámara
El mundo real es tridimensional, mientras que la imagen capturada por la cámara es bidimensional, en la que la información de distancia/profundidad se perderá. Resumiendo en un problema matemático, la cámara es similar a una función de mapeo, que mapea la escena tridimensional de entrada en una imagen bidimensional (tal vez una imagen en escala de grises o una imagen en color).
La calibración de la cámara es el proceso de usar modelos matemáticos y métodos matemáticos para aproximar esta compleja función de mapeo. La cámara calibrada tiene la capacidad de describir este proceso, por lo que puede utilizarse para diversas tareas de visión artificial, como la restauración de profundidad, la reconstrucción tridimensional, etc., que son esencialmente la restauración de la información de distancia perdida.
3. ¿Qué es exactamente la calibración de la cámara?
En aplicaciones prácticas, la calibración de la cámara se puede dividir en calibración de cámara de un solo ojo y calibración de cámara de múltiples ojos (binocular)
3.1 Calibración de cámara monocular
Tales aplicaciones generalmente requieren los parámetros del modelo de imagen de la propia cámara y la pose relativa de la cámara en relación con un determinado sistema de coordenadas.
(1) Por ejemplo, en la escena simple que se muestra en la figura a continuación, si conoce la orientación de la cámara y la altura desde el suelo, puede estimar aproximadamente la distancia al objeto correspondiente a un determinado píxel de la cámara (en realidad , puede medir la altura del objeto o el objeto está cerca del suelo). Este modelo es más común en algunas tareas simples del vehículo, como estimar la distancia del automóvil delantero.
(2) Otro ejemplo es el control de robots relativamente común en la industria, que necesita establecer la relación de posición relativa entre el sistema de coordenadas del robot y su sistema de coordenadas visuales (es decir, calibración ojo-mano)
(3) Otro ejemplo es la recuperación de profundidad monocular. Algunas recuperaciones de profundidad monocular tradicionales generalmente usan objetos de tamaño fijo como marcadores y luego mueven el objeto para juzgar la distancia de disparo real por el tamaño del objeto en la cámara.
(4) Otro ejemplo son algunos métodos SLAM. En la actualidad, algunos métodos de aprendizaje profundo autosupervisados también utilizan información de pose relativa como supervisión (como ManyDepth)
3.2 Calibración de cámara multiojo (binocular)
Este tipo de aplicación es más común y, por lo general, necesita obtener la información de la cámara en sí, la información de pose relativa entre cada cámara y, a veces, la relación entre esta y un sistema de coordenadas fijo.
(1) Por ejemplo, en una vista panorámica montada en un vehículo, es necesario obtener las poses relativas de las cuatro cámaras y su relación con el sistema de coordenadas del suelo para obtener el resultado final de unión panorámica.
(2) Otro ejemplo son las aplicaciones AR, o arreglos de cámaras más complejos.
