Corrección del desplazamiento del centro óptico basada en la suposición de plano en una cámara ojo de pez

Este artículo trata principalmente sobreHugin software de código abierto<libpano< a Principio análisis y resumen de funciones como plane_transfer_to_camera() y plane_transfer_from_camera() en i=4>/math.c>.

       En el artículo "Corrección panorámica de una imagen de ojo de pez", hemos introducido en detalle cómo asignar una imagen de ojo de pez al correspondiente 360- Imagen panorámica de grados, el modelo básico se muestra en la Figura 1. Coordenadas tridimensionales $OXYZ$ La indicación es dónde estamos Espacio físico instantáneo, dentro $El\; eje\; Y$ apunta en la dirección hacia la que estamos mirando, $Z$ 轴cielo orientado, $El\; eje\; X$ apunta a nuestro lado derecho. Y toma el origen de coordenadas $O$ La superficie esférica con el centro de la esfera se puede considerar como la lente ojo de pez utilizada para la fotografía, $El\; punto\; O$ es el centro óptico de la lente. Expandir la esfera a un plano es la imagen panorámica que necesitamos. El siguiente plano bidimensional ${oh}^{\prime }{X}_f{Y}_f$ es el plano de imagen de la cámara. Al disparar, comience desde $El\; rayo\; que\; parte\; del\; punto\; P$ sigue la recta $OP$ alcanzar la luz $O$ punto, y se produce la refracción. Las características de refracción están determinadas por el modelo de diseño y el proceso de fabricación de la lente. Generalmente se utiliza el modelo lineal, es decir, el ángulo de refracción. es linealmente proporcional al ángulo incidente. Finalmente, el rayo de luz refractado sigue la línea recta $O{P}_1$ llega al plano de la imagen, porque la imagen en el plano de la imagen está invertida 180 grados en este momento. Por conveniencia, generalmente usamos el punto ${PAG}_1$ Punto simétrico respecto al origen ${PAG}_2$${PAG}_2$ constituye la imagen de ojo de pez que obtuvimos. La tarea principal de corregir la imagen de ojo de pez es corregir el $P$ Las coordenadas del punto se calculan como las coordenadas correspondientes en la imagen de ojo de pez ${PAG}_2$, obteniendo así el punto $El\; valor\; de\; píxel\; de\; P$.

Figura 1 Diagrama esquemático de la proyección de ojo de pez.

       Como se puede ver en la Figura 1, el mapeo desde la superficie esférica al plano de imagen tiene ciertas limitaciones, es decir, en realidad no podemos hacer una lente con una superficie esférica completa, por lo que no podemos obtener una imagen completa. 360 grados en una sola toma.Perspectiva. Sin embargo, no es difícil hacer una lente ojo de pez con un ángulo de visión superior a 180 grados. Si usamos una lente de este tipo, déjela orientada $Tome\; una\; imagen\; en\; la\; dirección\; positiva\; del\; eje\; Y$ y luego muévala $Z$ Rotación 180 grados, llegada por la mañana $Y$ Tomamos otra imagen en la dirección negativa del eje, en teoría podemos obtener una imagen con un ángulo de visión de 360 ​​grados que cubre toda la superficie esférica. Esto es lo que hace la unión de imágenes de ojo de pez con múltiples ojos. Pero este método también tiene un defecto fatal, es decir, no podemos capturar imágenes panorámicas de escenas deportivas, porque las imágenes desde diferentes perspectivas en este método provienen de diferentes momentos. En este momento, podemos pensar fácilmente en utilizar dos cámaras ojo de pez con los mismos parámetros, enfrentadas $Y$ está instalado en las direcciones positiva y negativa del eje. Después de la sincronización, parece que el contenido de la vista de 360 ​​​​grados se puede obtener al mismo tiempo. Pero el problema vuelve a surgir, porque los centros ópticos de las dos lentes ojo de pez no están en el mismo punto físico del espacio. Lo llamamos desplazamiento del centro óptico. Es decir, en realidad hay dos esferas en diferentes posiciones en la Figura 1. En algún lugar de la espacio Cuando dos puntos alcanzan las dos esferas a lo largo de la línea recta que pasa por el centro de la esfera, sus coordenadas de longitud y latitud relativas a los centros de las dos esferas son diferentes. Por lo tanto, no podemos copiar directamente el contenido de una esfera a otra, de lo contrario se producirá un espacio en la interfaz de las imágenes, lo que se conoce como paralaje, un problema que se manifiesta especialmente en las tomas de primeros planos. A menudo es difícil resolver perfectamente el problema del paralaje, y en la mayoría de los casos incluso imposible, porque el mapeo de un espacio físico tridimensional a un plano de imagen bidimensional es en sí mismo un proceso de pérdida de información. Por tanto, sólo podemos solucionar algunos problemas específicos. Por ejemplo, supongamos que lo que estamos fotografiando es todo sobre una superficie plana.

Figura 2 Diagrama esquemático de la corrección del desplazamiento del centro óptico.

       La Figura 2 muestra el proceso de corrección del desplazamiento del centro óptico de la lente ojo de pez basándose en la suposición del plano, haciendo referencia principalmente al software de código abierto Hugin El método utilizado y un resumen aproximado de sus principios mediante la lectura del código. Para facilitar la comprensión, esto se simplifica a un caso bidimensional y el principio también es aplicable al espacio tridimensional. Su punto $O$ es la posición del centro óptico de la cámara principal, que es el origen del sistema de coordenadas físicas en la Figura 1. Punto ${PAG}_1$ es la posición del centro óptico de la lente de la cámara secundaria, $O{P}_1$ es el desplazamiento del centro óptico de las dos lentes. Tenga en cuenta el punto $O$ 和点 ${PAG}_1$$O$ Es muy original.

       Supongamos que hay un punto de control (es decir, el punto utilizado para la optimización de parámetros) en la imagen de ojo de pez de la cámara secundaria, y sus coordenadas esféricas obtenidas después del mapeo inverso del modelo de proyección de ojo de pez son< a i= 1> P 2 P_2 ${PAG}_2$, entonces el punto de proyección en perspectiva real correspondiente al punto de control debe ser ${PAG}_3$${PAG}_1$ Suma ${PAG}_3$, pero no se puede conocer la distancia correspondiente. En este momento necesitamos algunas suposiciones, como asumir que en el punto ${PAG}_0$Hay un plano en , como una pared, con la línea recta $O{P}_0$Vertical, interior ${PAG}_0$ Desde el punto $O$ son las coordenadas de latitud y longitud conocidas en la esfera del centro de la esfera. Tenga en cuenta que no necesitamos saber la distancia real del avión. Cuando no hay ningún objeto bloqueando frente al plano, que es el primer plano, podemos saber ${PAG}_3$ en realidad proviene de la línea recta ${PAG}_1{PAG}_3$La intersección de y el plano ${PAG}_5$, donde la recta ${PAG}_1{PAG}_3$ 和 $O{P}_0$El ángulo entre no puede ser mayor o igual a 90 grados. De esta forma se puede obtener el punto ${PAG}_5$ Línea recta $O{P}_5$ $O$ El punto de intersección de la esfera con el centro de la esfera $Las\; coordenadas\; de\; latitud\; y\; longitud\; de\; P$.

       Basándonos en la similitud de los triángulos, tenemos

$${PAG}_{1}A=\frac{{\overrightarrow{{PAG}_1{PAG}_3}}^t\cdot \overrightarrow{{PAG}_1{PAG}_4}}{{PAG}_1{PAG}_4}=\frac{{\overrightarrow{O{P}_2}}^t\cdot \overrightarrow{O{P}_0}}{O{P}_0},\text{\hspace{1em}(1)}$$

$${PAG}_{1}B=\frac{{\overrightarrow{{PAG}_1{PAG}_0}}^t\cdot \overrightarrow{{PAG}_1{PAG}_4}}{{PAG}_1{PAG}_4}=\frac{{\left(\overrightarrow{O{P}_0}-\overrightarrow{O{P}_1}\right)}^t\cdot \overrightarrow{O{P}_0}}{O{P}_0},\text{\hspace{1em}(2)}$$

$$\frac{{PAG}_1{PAG}_3}{{PAG}_1{PAG}_5}=\frac{{PAG}_{1}A}{{PAG}_{1}B}\Rightarrow \overrightarrow{{PAG}_1{PAG}_5}=\frac{{PAG}_{1}B}{{PAG}_{1}A}\cdot \overrightarrow{{PAG}_1{PAG}_3}.\text{\hspace{1em}(3)}$$

Entonces,

$$\overrightarrow{O{P}_5}=\overrightarrow{O{P}_1}+\overrightarrow{{PAG}_1{PAG}_5}=\overrightarrow{O{P}_1}+\frac{{PAG}_{1}B}{{PAG}_{1}A}\cdot \overrightarrow{O{P}_2}=\overrightarrow{O{P}_1}+\frac{{\left(\overrightarrow{O{P}_0}-\overrightarrow{O{P}_1}\right)}^t\cdot \overrightarrow{O{P}_0}}{{\overrightarrow{O{P}_2}}^t\cdot \overrightarrow{O{P}_0}}\cdot \overrightarrow{O{P}_2}.\text{\hspace{1em}(4)}$$

Del mismo modo, si sabemos $P$ Desde $O$ El punto son las coordenadas de longitud y latitud en la esfera con el centro de la esfera, luego el punto ${PAG}_5$¿Dónde estás? ${PAG}_1$ El punto de proyección en perspectiva sobre la esfera cuyo punto es el centro de la esfera ${PAG}_3$ 向对于Punto ${PAG}_1$las coordenadas son

$$\frac{O{P}_5}{OP}=\frac{O{P}_0}{{\overrightarrow{OP}}^t\overrightarrow{O{P}_0}/O{P}_0}\Rightarrow {\overrightarrow{OP}}_5=\frac{O{P}_0^2}{{\overrightarrow{OP}}^t\overrightarrow{O{P}_0}}\overrightarrow{OP},\text{\hspace{1em}(5)}$$

$$\overrightarrow{{PAG}_1{PAG}_5}=\overrightarrow{O{P}_5}-\overrightarrow{O{P}_1}\Rightarrow \overrightarrow{O{P}_2}=\overrightarrow{{PAG}_1{PAG}_3}=\overrightarrow{{PAG}_1{PAG}_5}/\Vert \overrightarrow{{PAG}_1{PAG}_5}\Vert .\text{\hspace{1em}(6)}$$

       La premisa de la hipótesis del plano es que todos los puntos provienen del mismo plano, por lo que no necesitamos saber la distancia real al plano (pero sí la orientación concreta), sin embargo, esto no siempre es cierto. Por el contrario, en muchas aplicaciones de escena es imposible tener un plano que pueda cubrir la mayor parte del campo de visión. Por lo tanto, este método es más adecuado para la unión multicámara de imágenes planas de gran superficie, como graffitis en paredes. Por supuesto, esto también es muy adecuado para estimar la distancia del centro óptico de las cámaras de ojo de pez de múltiples ojos, porque los puntos de control aparecen en los campos de visión superpuestos de cada lente, y esta parte del campo de visión es relativamente pequeña. Utilice un tablero de ajedrez para proporcionar una superficie lo suficientemente grande. Sin embargo, incluso si hemos obtenido una estimación relativamente precisa de la distancia al centro óptico, en la corrección de imágenes de ojo de pez real, si no podemos proporcionar el plano requerido, todavía es difícil evitar el paralaje debido a la complejidad de las fuentes de puntos espaciales.