在机器视觉领域中，**为了确定空间物体表面某点的三维几何位置与其投影图像(二维)中对应点之间的关系**，必须建立相机成像的几何模型，这些几何模型参数就是相机的内外参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个求解参数的过程称为标定（或者相机标定)。无论是在机器视觉还是在图像测量应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响结果的准确性。因此做好相机标定是进行后续工作及实验的前提。
El propósito de la calibración:
Una de las razones por las que es necesario calibrar las cámaras es la distorsión de la lente . Todas las lentes de las cámaras ópticas tienen problemas de distorsión. La distorsión pertenece a la distorsión geométrica de la imagen. Es un fenómeno de distorsión y deformación de la imagen causado por diferentes aumentos de imágenes en diferentes áreas en el plano focal. El grado de esta deformación es desde el centro de la imagen al borde de la imagen Incremental, principalmente reflejado en el borde de la pantalla es más obvio.
La distorsión de la lente se divide en distorsión de barril y distorsión de cojín, y algunos se dividen en distorsión radial y distorsión trapezoidal.
La mayoría de las lentes tienen distorsión radial, mientras que la distorsión tangencial tiene un efecto relativamente pequeño.
En el caso de disparo normal, la imagen de un objeto rectangular sigue siendo un rectángulo. Si se dispara un objeto rectangular en una imagen en forma de barril con cuatro lados que sobresalen hacia afuera, se dice que la lente tiene distorsión negativa o distorsión de barril. Por el contrario, si la imagen es cóncava en todos los lados, se dice que la lente tiene distorsión positiva o de cojín. La distorsión de barril es causada por un aumento menor del borde del campo de visión que el centro, que no se puede corregir incluso si se reduce la apertura; la distorsión de cojín es causada por un aumento mayor del borde del campo de visión que el centro , es decir, un gran ángulo de inclinación. El aumento de los rayos de luz es mayor que el aumento de los rayos de luz con un ángulo oblicuo más pequeño. La calibración de la cámara es para eliminar la distorsión de la lente de la cámara durante el disparo.
Teoría de la calibración:
1. Varios sistemas de coordenadas en visión artificial
En la medición de imágenes, el proceso de posicionamiento y otras aplicaciones de visión artificial, para determinar la relación entre la posición de imágenes 3D de un punto en la superficie de un objeto espacial y su punto correspondiente en la imagen , es necesario establecer un geométrico modelo de imagen de la cámara Estos parámetros del modelo geométrico son parámetros de la cámara. Este proceso de resolución de parámetros se llama calibración de cámara.
Resolver los parámetros de distorsión de la lente puede transformar la imagen distorsionada en una imagen sin distorsión.
En primer lugar, comprenda el modelo de cámara estenopeica. Un punto en el mundo real (sistema de coordenadas del mundo) se asigna a una imagen bidimensional a través de una cámara, una lente y un dispositivo de adquisición de imágenes.
En el modelo de imagen de la cámara, hay varios sistemas de coordenadas: el sistema de coordenadas mundial, el sistema de coordenadas de la cámara y el sistema de coordenadas de la imagen . El modelo matemático del proceso de imagen de la cámara es el proceso de conversión del punto objetivo en estos sistemas de coordenadas.
En la visión por computadora, la regla de la mano derecha se usa a menudo para obtener el sistema de coordenadas en la figura anterior. Hay tres sistemas de coordenadas en diferentes niveles en la figura, y las siguientes son las definiciones de estos tres sistemas de coordenadas.
(1) Sistema de coordenadas mundial (Xw, Yw, Zw) : es el sistema de coordenadas real o el sistema de coordenadas global, que es la coordenada absoluta del mundo objetivo, y es un sistema de coordenadas espacial tridimensional definido por el usuario arbitrariamente , que se utiliza en escenas 3D generales Un sistema de coordenadas (en la calibración HALCON, la placa de calibración se utiliza como punto de referencia del sistema de coordenadas de referencia).
(2) Sistema de coordenadas de la cámara (Xc, Yc) : tome el centro de enfoque en el plano estenopeico del modelo de la cámara estenopeica como origen y tome el eje óptico de la cámara como Z. El sistema de coordenadas tridimensional constituido, donde Xc, Yc son paralelos al sistema de coordenadas de formación de imágenes.
(3) Sistema de coordenadas de imagen : dividido en sistema de coordenadas de imágenes de imagen y sistema de coordenadas de píxeles de imagen.
Sistema de coordenadas de imágenes de imágenes (x, y): su origen es el punto de intersección del eje óptico de la lente y el plano de imágenes, y los ejes x e y son paralelos al eje Xc y al eje Yc del sistema de coordenadas de la cámara, respectivamente. es un sistema de coordenadas cartesianas planas, y la unidad es mm.
Sistema de coordenadas de píxeles de la imagen (u, v): Es un sistema de coordenadas cartesianas planas fijadas en la imagen en unidades de píxeles, cuyo origen se encuentra en la esquina superior izquierda de la imagen, y sus ejes horizontal y vertical (filas y columnas) para imágenes digitales) son paralelos entre sí. Basado en los ejes de abscisas y ordenadas x e y del sistema de coordenadas de imagen, este es también el método para representar el sistema de coordenadas de imagen en HALCON.
Conversión de sistema de coordenadas
La siguiente figura es un diagrama esquemático del modelo después de mover el plano de la cámara entre el agujero de alfiler y el objeto de destino, y describe el cambio del punto de proyección (punto q) en el plano de imagen durante este proceso de movimiento.
Después de mover el plano de la cámara entre el agujero de alfiler y el objeto objetivo, el modelo se transforma del sistema de coordenadas universal al sistema de coordenadas de la cámara de acuerdo con la ruta de un punto en el espacio al plano de la imagen, y luego se transforma del sistema de coordenadas de la cámara al sistema de coordenadas de la cámara. Sin embargo, hay distorsión en este proceso, que requiere un procesamiento de transformación y luego se transforma del sistema de coordenadas de imágenes de imágenes al sistema de coordenadas de píxeles de la imagen, que se divide aproximadamente en los siguientes pasos.
1) Del sistema de coordenadas mundo al sistema de coordenadas de la cámara
El punto espacial Pw (Xw, Yw, Zw) se convierte en el punto P (Xc, Yc, Zc):
P=RPw+T (R es la matriz de rotación, T es la matriz de traslación)
Cada objeto en el sistema de coordenadas del mundo se puede transformar al sistema de coordenadas de la cámara a través de la rotación y la traslación . Girar el punto de destino en un ángulo θ es equivalente a girar el sistema de coordenadas en un ángulo θ en la dirección opuesta.
Para las coordenadas tridimensionales, el principio de rotación alrededor de un determinado eje es el mismo que el de las coordenadas bidimensionales.
Si el sistema de coordenadas universales gira α, β y γ alrededor de los ejes X, Y y Z respectivamente, las matrices de rotación son R(α), R(β) y R(γ).
La matriz de rotación total es el producto de los tres: R(α,β,γ)=R(α)R(β)R(γ)
Matriz de traducción T=(tx, ty, tz), la diferencia entre el origen del sistema de coordenadas universales tx, ty, tz y el punto de destino del sistema de coordenadas de la cámara.
2) Del sistema de coordenadas de la cámara al sistema de coordenadas de la imagen (la relación de transformación de la proyección en perspectiva es 3D→2D)
Hay triángulos semejantes que se pueden deducir → x=f Xc/Zc , y=f Yc/Zc
Se puede obtener la siguiente matriz de transformación de coordenadas:
En este momento, la unidad del punto de proyección p sigue siendo mm, no píxel (píxel), y debe convertirse al sistema de coordenadas de píxel.
3) Del sistema de coordenadas de imágenes de imágenes al sistema de coordenadas de píxeles de imágenes
El sistema de coordenadas de imagen es un sistema de coordenadas bidimensional, que se divide a su vez en un sistema de coordenadas de píxeles de imagen y un sistema de coordenadas de imágenes de imagen . El sistema de coordenadas de píxeles de la imagen uv se establece con la esquina superior izquierda de la imagen como el origen , los dos bordes de la imagen en ángulo recto entre sí como los ejes de coordenadas y satisfaciendo la regla de la mano derecha. La imagen se compone de pequeños píxeles. Las coordenadas horizontales y verticales del sistema de coordenadas de píxeles de la imagen están en unidades de píxeles, que se utilizan para describir la posición de cada píxel en la imagen. El sistema de coordenadas de formación de imágenes se establece con la intersección del eje óptico y el plano de la imagen como origen , y los dos ejes de coordenadas del sistema de coordenadas de formación de imágenes son respectivamente paralelos y en la misma dirección que los ejes de coordenadas del píxel de la imagen. sistema coordinado.
Como se muestra en la figura, el sistema de coordenadas de imágenes es un sistema de coordenadas cartesianas xy en milímetros, use (u, v) para describir el punto en el sistema de coordenadas de píxeles de la imagen y use (x, y) para describir el punto en el sistema de coordenadas de formación de imágenes. Las coordenadas del origen O del sistema de coordenadas de formación de imágenes en el sistema de coordenadas de píxeles de la imagen son (Cx, Cy), y dx y dy se utilizan para representar la distancia física real del centro del punto de píxel adyacente en el eje x. dirección y la dirección del eje y, y el píxel de la imagen La relación de conversión del sistema de coordenadas es:
u=x/dx+Cx; v=y/dy+cy
Parámetros internos y externos calibrados
1. Parámetros externos
Como podemos ver en lo anterior, los parámetros externos de la cámara se utilizan para describir la relación entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundial Indica la posición y orientación de la cámara en el sistema de coordenadas mundial , que se puede representar por una matriz de rotación y un vector de traslación. En esencia, la matriz de rotación tiene solo tres parámetros independientes, más los tres parámetros del vector de traducción, por lo que hay un total de seis parámetros externos independientes.
2. Parámetros internos
Los parámetros internos solo están relacionados con la estructura interna de la cámara , pero no con los parámetros de posición de la cámara. Incluye principalmente las coordenadas del punto principal de la imagen (Cx, Cy) (el punto donde el plano de imagen se cruza con el eje óptico de la cámara), la altura, el ancho Sx, Sy de un solo píxel, la distancia focal efectiva f de la cámara y el coeficiente de distorsión k del espejo de perspectiva, etc.
Los parámetros internos de la cámara a veces se pueden encontrar en el manual proporcionado por el fabricante, pero su precisión no puede cumplir con los requisitos y solo se puede usar como referencia. Deben calibrarse aún más en aplicaciones prácticas. Las coordenadas del punto principal (Cx, Cy) se ubican teóricamente en el centro de la imagen, pero de hecho, debido a la precisión de la producción de la cámara y al hecho de que la lente de la cámara se puede girar y desmontar durante el uso, la cámara de matriz de área no puede garantizar que su centro es el eje óptico del tubo transparente, y el centro de la ventana de digitalización de adquisición de la imagen debe coincidir con el centro óptico, lo que hace que el punto principal no esté necesariamente en el centro de la imagen, por lo que se requiere calibración. La altura, el ancho Sx y Sy de un solo píxel se pueden encontrar en la documentación técnica proporcionada por el fabricante, pero los datos no son completamente precisos. La altura y el ancho de un solo píxel deberían ser iguales en teoría, pero debido a errores de fabricación, los dos no pueden ser completamente iguales, por lo que debe corregirse de acuerdo con la situación real. Solo la imagen de la lente ideal puede satisfacer la relación lineal del coeficiente de distorsión de la lente. De hecho, hay muchos tipos de distorsión no lineal en la lente y deben corregirse de acuerdo con la situación real.
sistema de coordenadas de robots
[Falló la transferencia de la imagen del enlace externo, el sitio de origen puede tener un mecanismo de enlace antirrobo, se recomienda guardar la imagen y cargarla directamente (img-5KTfw703-1675999323727) (C:\Users\lvshuo\AppData\Roaming\Typora \typora-user-images\ image-20230202175155271.png)]
sistema de coordenadas base
Tome la base de instalación del robot como origen, el eje XY son dos ejes perpendiculares al plano, y el eje Z es perpendicular al plano XY, verticalmente hacia arriba o hacia abajo (diferentes fabricantes de robots definen de manera diferente)
sistema de coordenadas de la herramienta
Tome el centro de la herramienta final del robot como origen. Para el robot Scara, solo hay 4 grados de libertad al final: X, Y, Z, R.
punto de robot
Para el robot Scara, el punto del robot incluye 4 valores, que son el desplazamiento de XYZ y la rotación R alrededor del eje Z.
De hecho, el punto del robot es la pose de la herramienta final del robot (herramienta) en el sistema de coordenadas base del robot (base), que se registra como tool_in_base_pose, y su correspondiente matriz de transformación homogénea es
Los valores son respectivamente el desplazamiento de XYZ y la rotación R alrededor del eje Z.