Imagen y óptica. Visión por computadora, procesamiento de imágenes, imagen digital. Conducción y visión autónomas.
Diseño de lentes; imagen humana (cámara), visión artificial y visión por computadora
- Óptica y cámara, libros
"Óptica aplicada", "Óptica geométrica"
Libro de algoritmos de cámara, implementado por FPGA o DSP. Como realización de funciones ISP, 3A, reducción de ruido 3D, mejora de bordes, restauración de color, mejora de imagen, anti-vibración, desempañado, oclusión de privacidad, etc.,
Zhang Furong, "Investigación sobre codificador H.264 basado en DM642"
Li Fanghui, Wang Fei, Peikun He, "Principio y aplicación de los DSP de la serie TMS329C6000"
- desarrollo de cámara
Desarrollo de cámara de Android: https: //blog.csdn.net/zhangbijun1230/article/category/6500605
Protocolo de cámara: https: //blog.csdn.net/zhangbijun1230/article/category/8792290
cámara- https://blog.csdn.net/zhangbijun1230/article/category/7508987 Cámara de
profundidad- https://blog.csdn.net/zhangbijun1230/article/category/7531550
> Principio óptico de la cámara
Análisis del principio de procesamiento de imágenes de la cámara: luz estroboscópica de zoom antiruido, etc.-https: //blog.csdn.net/colorant//article/list/6?
Análisis del principio de procesamiento de imágenes de la cámara-http: //blog.chinaunix.net/uid- 24486720-id-370942.html
Base teórica de la cámara y principio de funcionamiento
: https : //blog.csdn.net/ysum6846/article/details/54380169 Principio de funcionamiento: la luz ingresa a la cámara a través de la lente, luego filtra la luz infrarroja a través del filtro IR y finalmente llega al sensor, Senor se puede dividir en dos tipos: CMOS y CCD según el material. Puede convertir señales ópticas en señales eléctricas, y luego convertirlas en señales digitales a través del circuito ADC interno, y luego transmitirlas a DSP (si las hay, si no, use DVP Los datos se envían a la banda base del chip de banda base en el método, el formato de datos en este momento es Datos sin procesar, y el procesamiento se discutirá más adelante) y luego se convierten a RGB, YUV y otros formatos para la salida.
Hay dos tipos de sensores que se utilizan comúnmente en la actualidad, uno es original CCD (carga acoplada) y el otro es CMOS (conductor de óxido metálico) original.
1. CCD (dispositivo de carga acoplada), un sensor de dispositivo de carga acoplada: está hecho de un material semiconductor de alta sensibilidad, que puede convertir la luz en cargas eléctricas, que se convierten en señales eléctricas a través de un chip convertidor de analógico a digital. El CCD está compuesto por muchas unidades fotosensibles independientes, generalmente en megapíxeles. Cuando la superficie del CCD se expone a la luz, cada unidad fotosensible reflejará la carga del componente, y las señales generadas por todas las unidades fotosensibles se suman para formar una imagen completa. Los sensores CCD están dominados por fabricantes japoneses y el 90% del mercado mundial está monopolizado por fabricantes japoneses, siendo Sony, Panasonic y Sharp los líderes.
2. CMOS (Semiconductor de óxido de metal complementario): Semiconductor de óxido de metal complementario: Es principalmente un semiconductor hecho de silicio y germanio, lo que hace que coexista con semiconductores N (-) y P (+) en CMOS. La corriente generada por los dos efectos complementarios puede ser registrada por el chip de procesamiento e interpretada como una imagen. Los sensores CMOS están dominados principalmente por Estados Unidos, Corea del Sur y Taiwán. Los principales fabricantes son OmniVison, Agilent y Micron en Estados Unidos, Sharp Image, Original Phase y Taishi en Taiwán, y Samsung y Hyundai en Corea del Sur.
Principio de la cámara: https: //blog.csdn.net/g_salamander/article/details/8086835
Con la popularidad de las cámaras digitales y los teléfonos móviles, los sensores de imagen CCD / CMOS han recibido una gran atención y aplicaciones en los últimos años. Los sensores de imagen generalmente adoptan ciertos modos para recopilar datos de imágenes, y los modos más utilizados son el modo BGR y el modo CFA. El modo BGR es un modo de datos de imagen que se puede procesar directamente para visualización y compresión. Está determinado por los tres valores de colores primarios de R (rojo), G (verde) y B (azul) para determinar un punto de píxel, como los que utilizan las cámaras digitales Fuji. El sensor de imagen SUPER CCD adopta este modo. Su ventaja es que los datos de imagen generados por el sensor de imagen se pueden mostrar directamente y otros procesamientos posteriores sin interpolación. El efecto de imagen es el mejor, pero el costo es alto, y se usa a menudo en cámaras profesionales. Generalmente, el sensor de una cámara digital (CCD o CMOS) representa entre el 10% y el 25% del costo total de toda la máquina. Para reducir costos y reducir el tamaño, la mayoría de las cámaras digitales del mercado adoptan el modo CFA, es decir, cubren una capa de color en la superficie de la matriz de píxeles. Matriz de filtros de color (Matriz de filtros de color, CFA), hay muchos tipos de matrices de filtros de color, la matriz de filtros de formato Bayer es ahora la más utilizada, que cumple con la ley GRBG, la cantidad de píxeles verdes es el doble de la cantidad de píxeles rojos o azules, esto se debe a que la gente El pico de la sensibilidad del ojo al espectro de luz visible se encuentra en la banda media, que corresponde exactamente al componente espectral verde.
En términos generales, la cámara se compone principalmente de dos partes: lente y sensor IC. Algunos sensores IC están integrados con DSP y algunos no están integrados, pero también necesitan procesamiento DSP externo. En términos de subdivisión, el equipo de la cámara se compone de las siguientes partes:
1) lente (lente) Generalmente, la estructura de la lente de una cámara se compone de varias lentes, que se dividen en lente de plástico (plástico) y lente de vidrio (vidrio). Por lo general, la estructura de la lente tiene : 1P, 2P, 1G1P, 1G3P, 2G2P, 4G, etc.
2) sensor (sensor de imagen) Senor es un chip semiconductor, hay dos tipos: CCD y CMOS. El sensor convierte la luz guiada desde la lente en una señal eléctrica y luego la convierte en una señal digital a través del AD interno. Dado que cada píxel del sensor solo puede ser luz R sensible a la luz, luz B o luz G, cada píxel almacena monocromo en este momento, lo que llamamos datos RAW DATA. Para restaurar los datos RAW DATA de cada píxel a los tres colores primarios, se requiere que ISP los procese.
3) ISP (procesamiento de señal de imagen) completa principalmente el procesamiento de imágenes digitales y convierte los datos sin procesar recopilados por el sensor a un formato compatible con la pantalla.
4) CAMIF (controlador de cámara) El circuito de interfaz de la cámara en el chip controla el dispositivo, recibe los datos recopilados por el sensor y los entrega a la CPU, y los envía a la pantalla LCD para su visualización.
Principio de funcionamiento: una vez que la luz externa pasa a través de la lente, se irradia en la superficie del sensor después de ser filtrada por el filtro de color. El sensor convierte la luz guiada desde la lente en una señal eléctrica y luego la convierte en una señal digital a través del AD interno. Si el sensor no integra DSP, DVP lo transmitirá a la banda base y el formato de datos en este momento es DATOS SIN PROCESAR. Si DSP está integrado, los datos RAW DATA se procesan mediante AWB, matriz de color, sombreado de lentes, gamma, nitidez, AE y eliminación de ruido, y luego los datos de salida en formato YUV o RGB.
Finalmente, la CPU lo enviará al framebuffer para su visualización, de modo que podamos ver la escena capturada por la cámara.
Al igual que RGB, YUV es uno de los modelos de color más utilizados en el espacio de color, y los dos se pueden convertir entre sí. Y en YUV representa brillo y U y V representan croma. Comparado con RGB, su ventaja es que ocupa menos espacio. YCbCr es parte de la recomendación ITU-R BT601 durante el desarrollo del estándar de video de la Organización Digital Mundial, de hecho, es una réplica a escala y offset de YUV. Entre ellos, Y tiene el mismo significado que Y en YUV. Cb y Cr también se refieren al color, pero son diferentes en el método de representación. En la familia YUV, YCbCr es el miembro más utilizado en los sistemas informáticos y tiene una amplia gama de aplicaciones, tanto JPEG como MPEG utilizan este formato. En términos generales, YUV se refiere a YCbCr. YCbCr tiene muchos formatos de muestreo, como 4: 4: 4, 4: 2: 2, 4: 1: 1 y 4: 2: 0.
Chip de procesamiento de señal digital Función DSP (PROCESAMIENTO DE SEÑAL DIGITAL): principalmente a través de una serie de algoritmos matemáticos complejos para optimizar los parámetros de la señal de imagen digital y transmitir las señales procesadas a PC y otros dispositivos a través de USB y otras interfaces. Marco de estructura DSP:
1. ISP (procesador de señal de imagen)
2. Codificador JPEG (decodificador de imagen JPEG)
3. Controlador de dispositivo USB (controlador de dispositivo USB)
Zoom óptico: a través del ajuste de la lente, puede acercar y alejar el objeto que desea fotografiar, manteniendo los píxeles y la calidad de imagen básicamente sin cambios, pero puede tomar su imagen ideal.
Zoom digital: De hecho, no hay zoom. Simplemente se toma de la imagen original y se amplía. Lo que ve en la pantalla LCD se amplía. De hecho, la calidad de la imagen no mejora sustancialmente y los píxeles son más bajos que el máximo de píxeles que puede disparar su cámara. La calidad de la imagen es básicamente de mal gusto, pero puede proporcionar cierta comodidad.
Como uno de los módulos principales de los teléfonos con cámara, el ajuste del efecto del sensor de la cámara implica muchos parámetros y puede tener una comprensión profunda y una comprensión de los principios ópticos básicos y los principios del software / hardware del sensor del procesamiento de imágenes.
El reconocimiento del color por el ojo humano se basa en el principio de que el ojo humano tiene tres unidades de detección diferentes para el espectro, y las diferentes unidades de detección tienen diferentes curvas de respuesta a diferentes longitudes de onda de la luz. La percepción del color se obtiene mediante la síntesis del cerebro. En términos generales, podemos utilizar el concepto de tres colores primarios RGB para comprender la descomposición y síntesis de colores.
> Algoritmo de cámara 3A, algoritmo 3A: enfoque automático, exposición automática, balance de blancos automático.
El control 3A en la imagen se refiere al control automático de exposición (AE), control automático del enfoque (AF) y control automático del balance de blancos (AWB). El control de exposición automático puede ajustar automáticamente el brillo de la imagen, el control de enfoque automático puede ajustar automáticamente el enfoque de la imagen y el balance de blancos automático puede hacer que la imagen de la imagen tenga el color de la fuente de luz clásica.
La esencia del balance de blancos es hacer que los objetos blancos parezcan blancos bajo cualquier fuente de luz .
El algoritmo general ajusta la ganancia del balance de blancos para que el color de la imagen de la toma se acerque al color real del objeto. El ajuste de ganancia se basa en la temperatura de color de la fuente de luz ambiental.
La exposición automática sirve para que el dispositivo fotosensible obtenga la exposición adecuada.
El algoritmo general ajusta los parámetros de exposición correspondientes obteniendo el brillo de la imagen para obtener la exposición adecuada.Los parámetros de exposición incluyen el tamaño de apertura, la velocidad de obturación y la ganancia de brillo del sensor de la cámara.
El enfoque automático es el proceso de ajustar el enfoque de la cámara para obtener automáticamente una imagen clara.
.
El paso básico del algoritmo AF es juzgar primero el grado de desenfoque de la imagen, obtener el valor de evaluación de cada imagen recopilada a través de la función de evaluación del grado de desenfoque apropiado, y luego obtener una serie de valores máximos del valor de evaluación a través del algoritmo de búsqueda, y finalmente recopilar la imagen a través del motor. El dispositivo se ajusta a la posición del pico para obtener la imagen más clara.La clave del algoritmo es lograr un equilibrio entre precisión y velocidad.Al mismo tiempo, la precisión del algoritmo se ve afectada por la doble influencia del algoritmo del software y la precisión del hardware.
Comprensión del algoritmo 3A: https: //blog.csdn.net/u012900947/article/details/80897364 La
tecnología 3A es enfoque automático (AF), exposición automática (AE) y balance de blancos automático (AWB). La tecnología de imagen digital 3A utiliza el algoritmo de enfoque automático AF, el algoritmo de exposición automática AE y el algoritmo de balance de blancos automático AWB para lograr el máximo contraste de imagen, mejorar la sobreexposición o subexposición del sujeto y compensar la aberración cromática de la imagen bajo diferentes luces. Para presentar información de imagen de mayor calidad. La cámara con tecnología de imagen digital 3A puede garantizar la reproducción precisa del color de la imagen y presentar el efecto de monitoreo perfecto de día y de noche.
El algoritmo de control de imágenes 3A tiene una influencia crucial en el efecto de imagen de la cámara. Ya sea temprano en la mañana o al anochecer, o en un ambiente nocturno con luz compleja, no puede verse afectado por el visor, la luz y la sombra, proporciona una reproducción precisa del color y presenta el efecto de monitoreo de día y noche perfecto.
Investigación sobre el algoritmo de exposición automático basado en imágenes: https://wenku.baidu.com/view/c854fa93fd0a79563c1e72ba.html
En la actualidad, existen básicamente dos métodos de control de exposición automático. Una es usar el valor de brillo de referencia para dividir la imagen de manera uniforme en muchas subimágenes. El brillo de cada subimagen se usa para establecer el valor de brillo de referencia. El valor de brillo de referencia se puede obtener ajustando el tamaño de apertura [2]
, y se puede usar el mismo El valor de brillo de referencia se obtiene ajustando la velocidad del obturador [3]. Algunos fabricantes de cámaras todavía están adoptando otro método, que consiste en realizar el control de la exposición mediante el estudio de la relación entre el brillo y el valor de exposición en diferentes condiciones de iluminación [4-6]
Introducción de parámetros de la cámara y algoritmo de programación 3A-https:
//blog.csdn.net/qccz123456/article/details/52371614 Los parámetros de la cámara generalmente tienen resolución, claridad, brillo, contraste, saturación, distancia focal, campo de visión, apertura , Ganancia, tiempo de exposición, balance de blancos, etc.
Modos y estado 3A (Modos y estado 3A)
Enlace de la dirección web de la fuente de Google: https://source.android.com/devices/camera
Imagen 3A algoritmo y principio de corrección gamma e implementación parcial-https: //blog.csdn. net / piaoxuezhong / article / details / 78313542