En el artículo anterior, se presentó el proceso básico de ISP y el método de procesamiento en el dominio RAW.
El vínculo más importante en la creación de imágenes perfectas: procesamiento de dominio RGB de ISP
Continuando con el contenido anterior de hoy, explique la parte central: el procesamiento del dominio RGB.
El proceso específico de ISP se muestra en la figura.Continuaremos explicando el procesamiento de cada parte en el dominio RGB alrededor de esta figura.
Después de la interpolación Demosaic, la imagen RAW original del sensor se interpola en una imagen RGB, luego se realiza el ajuste de brillo gamma y la corrección de color CCM en el dominio RGB y, finalmente, el RGB se convierte en una imagen YUV en el módulo CSC. Se procesa el dominio RGB y luego se procesa el dominio YUV.
El procesamiento del dominio YUV se incluirá en la próxima actualización, ¡así que estad atentos!
Hay tres partes principales en el dominio RGB y los métodos de procesamiento son los siguientes.
Demosaico a mosaico
Estrictamente hablando, el módulo de procesamiento demosaico no pertenece al dominio RGB, sino que debería pertenecer al último paso del dominio RAW.
Por el principio de construcción del sensor, podemos saber que capturamos la señal de luz de la escena, y la información de intensidad de la luz se puede obtener a través del fotodiodo.La imagen es en blanco y negro, y la información de color no se puede obtener.
La información de color es una imagen sin procesar de Bayer formada al dividir los datos de la imagen en tres componentes de RGB a través de los filtros de tres colores R, G y B en el CMOS. Para esta parte, puede referirse a la introducción del formato Bayer en el procesamiento de dominio RAW de ISP, el eslabón más importante en la creación de imágenes perfectas .
Solo de esta manera se puede incluir información completa de la imagen, incluida la información de intensidad de luz y la información de color.
Sin embargo, los datos de Bayer contienen solo una información de color para cada píxel, lo que presenta una apariencia de "mosaico". Necesitamos combinar los datos RGB en un píxel para eliminar la apariencia de mosaico, que es el proceso: Demosaic.
Para los algoritmos de demostración, actualmente existen algoritmos de interpolación bilineal y algoritmos de interpolación adaptativa. Su núcleo es interpolar en cada píxel de acuerdo con la información de color circundante para obtener los tres componentes RGB de cada píxel.
Corrección de curva gamma
Dado que el ojo humano es más sensible a la percepción del brillo en un ambiente oscuro, por ejemplo, no hay mucha diferencia entre observar una llama en un ambiente oscuro y un ambiente brillante, que es una relación no lineal.
Sin embargo, después de que el sensor adquiere la señal de luz, muestra que todo el proceso es lineal, lo cual es inconsistente con el efecto del ojo humano.
¿Qué significa? De acuerdo con la curva de la figura, asumimos que el área más brillante con el brillo más alto es 1. Cuando el valor del área oscura es 0,2, el ojo humano percibe el brillo como 0,5, pero la percepción del sensor sigue siendo 0,2, lo que significa que el ojo humano es más sensible a los entornos oscuros y no lineal en la percepción de la luz .
Para obtener este efecto similar al ojo humano, se utiliza la corrección de la curva Gamma.
La corrección gamma consiste en realizar un procesamiento no lineal en la escala de grises de la imagen. Esta curva es similar a una relación exponencial. Después del procesamiento final, la escala de grises de la imagen es un efecto no lineal similar al del ojo humano. Este índice es Gamma.
Generalmente, el valor de la corrección Gamma es 2.2, y esta curva está más cerca del efecto del ojo humano.
Mirando la figura anterior, en ausencia de la corrección Gamma, una amplia gama de áreas de escala de grises bajas se representan con un valor, lo que da como resultado que falte información, pero las áreas de escala de grises altas retienen demasiados valores similares y el espacio de datos no se asigna de manera razonable. La información después de la corrección Gamma tiene una distribución más razonable para niveles bajos de gris, lo que se acerca más a la realidad.
En la figura se puede ver que un valor de Gamma de 1,8 realzará el tono oscuro y hará que la imagen sea más brillante; un valor de Gamma de 2,2 está más cerca del efecto del ojo humano; un valor de Gamma de 2,4 hará que el contraste de la imagen sea más evidente.
Corrección de color CCM ( matriz de corrección de color)
¿Por qué necesita hacer la corrección de color CCM, o porque desea restaurar la apariencia más realista de la imagen? Debido a que los ojos humanos tienen diferentes curvas de respuesta a diferentes colores, use CCM para restaurar los colores de la imagen.
El principio de CCM es utilizar una matriz de corrección de 3*3 para corregir los colores R, G y B actuales para obtener un color cercano al color real del ojo humano . M es una matriz de corrección, que generalmente se obtiene mediante un experimento de comparación con una tarjeta de color estándar.
Conversión de espacio de color CSC ( conversión de espacio de color)
Esta parte es para convertir la imagen RGB en una imagen YUV para el procesamiento final en el dominio YUV.
¿Por qué hay una conversión del espacio de color? Nuestra adquisición y procesamiento de imágenes ya han logrado buenos resultados en el espacio RGB, pero la mayor parte de la visualización y el procesamiento de señales se llevan a cabo en el espacio YUV.
La pantalla se refiere principalmente al televisor. El uso del formato YUV puede ser compatible con televisores en blanco y negro y televisores en color. Solo el componente Y es una imagen en blanco y negro, y tanto el componente Y como los componentes U y V se pueden usar en un televisor en color.
Los estándares de gama de colores comunes incluyen BT.601 (SDTV, TV de definición estándar), BT.709 (HDTV, TV de alta definición), BT.2020 (UHDTV, TV de ultra alta definición).
En el artículo anterior, la fórmula de conversión, el eslabón más importante en la obtención de imágenes perfectas, la introducción del dominio YUV en el procesamiento del dominio RAW de ISP:
Y = 0.299 * R + 0.587 * G + 0.114 * B;U = -0.169 * R - 0.331 * G + 0.5 * B;V = 0.5 *R - 0.419 * G - 0.081 * B;
Esta es la gama de colores CSC común BT.601. En diferentes espacios de gama de colores, la matriz de conversión es diferente.
A través de la introducción anterior, si comprende el flujo de procesamiento de ISP en el dominio RGB, debe realizar el procesamiento final en el dominio YUV.
Si quieres saber qué sucedió después, ¡escuchemos el próximo capítulo para desglosarlo!
Para más artículos técnicos, se lanzará la cuenta pública "Moyu IT" en toda la red. ¡Espero que todos presten atención, lo reenvíen y les guste!