Haga clic en " Visión de aprendizaje de Xiaobai " arriba y elija agregar " Estrella " o " Superior "
重磅干货，第一时间送达El registro y la correlación de imágenes es un problema típico y una dificultad técnica en el campo de la investigación del procesamiento de imágenes. Su propósito es comparar o fusionar imágenes adquiridas en diferentes condiciones para el mismo objeto. Por ejemplo, las imágenes provendrán de diferentes dispositivos de adquisición y se tomarán en diferentes veces. , diferentes ángulos de visión de disparo, etc., a veces es necesario utilizar problemas de registro de imagen para diferentes objetos.
Específicamente, para dos imágenes en un conjunto de conjuntos de datos de imágenes, una imagen (imagen flotante, imagen en movimiento) se asigna a otra imagen (imagen de referencia, imagen fija) buscando una transformación espacial, de modo que los dos Los puntos correspondientes a la misma posición espacial en la figura se corresponden uno por uno, a fin de lograr el propósito de la fusión de información.
El registro de imágenes suele ser un paso de preprocesamiento en la fusión de imágenes. Los pares de imágenes que se someten a un registro de imagen preciso suelen lograr mejores resultados de fusión.
0 1
definición
El registro de imágenes es un método de usar un determinado algoritmo para mapear de manera óptima una o más imágenes (localmente) a una imagen de destino en función de un determinado estándar de evaluación.
Según los diferentes métodos de registro, los diferentes criterios de evaluación y los diferentes tipos de imágenes, existen diferentes tipos de métodos de registro de imágenes.
0 2
Antecedentes del problema y aplicación
El registro de imágenes se usa ampliamente en visión por computadora, procesamiento de imágenes médicas, mecánica de materiales, detección remota y otros campos.
Debido a la gran cantidad de tipos de imágenes a los que se puede aplicar el registro de imágenes, es temporalmente imposible desarrollar un método de optimización general para todos los propósitos.
El registro de imágenes tiene muchas aplicaciones prácticas en el procesamiento y análisis de imágenes médicas. Con el avance de los equipos de imágenes médicas, para el mismo paciente, se pueden recopilar imágenes que contienen información anatómica precisa, como CT, ultrasonido y MRI; al mismo tiempo, también se pueden recopilar imágenes que contienen información funcional, como SPECT. Sin embargo, el diagnóstico mediante la observación de diferentes imágenes requiere imágenes espaciales y la experiencia subjetiva de los médicos.
Con el método de registro de imagen correcto, se puede fusionar con precisión una variedad de información en la misma imagen, lo que hace que sea más fácil y preciso para los médicos observar lesiones y estructuras desde varios ángulos . Al mismo tiempo, a través del registro de imágenes dinámicas recopiladas en diferentes momentos, se pueden analizar cuantitativamente los cambios en las lesiones y los órganos, lo que hace que el diagnóstico médico, la planificación quirúrgica y la planificación de la radioterapia sean más precisos y confiables.
En el campo de la visión por computadora, los métodos de registro se pueden usar para análisis de video, reconocimiento de patrones y seguimiento automático de cambios de movimiento de objetos.
En el contexto de la mecánica de materiales, el registro se utiliza a menudo para estudiar las propiedades mecánicas, lo que se conoce como correlación de imágenes digitales. Al fusionar y comparar la información (forma, temperatura, etc.) recopilada por diferentes cámaras y sensores, se pueden calcular valores como campos de tensión y campos de temperatura. Al incorporar el modelo teórico, se puede realizar la optimización inversa de los parámetros.
0 3
Palabras claves relacionadas
01 palabras similares:
registro de imágenes (coincidencia de mapeo, alineación de co-registro, fusión)
Nota: el mapeo se enfoca en el mapeo espacial, la fusión es fusión de imágenes, que incluye no solo el registro sino también la visualización de imágenes después de la integración de datos.
02 Campos similares:
Fusión de imágenes, unión de imágenes, segmentación de imágenes, superresolución, registro de imágenes, registro de nubes de puntos, SLAM
03 Cómo usar:
Medida de similitud, precisión de registro, algoritmo de registro, transformación wavelet, información mutua, transformación afín, extracción de características, coincidencia de puntos de características, correlación de fase, detección de esquinas, detección de bordes, ángulo de rotación, correlación de fase, algoritmo genético, aprendizaje profundo
04Campo de aplicación :
Imágenes médicas, imágenes de teledetección, pronóstico del tiempo, sistemas de información geográfica, superresolución, seguimiento de movimiento, control automático
0 4
categoría de pregunta
El estándar de clasificación de registro de imágenes no es único. Las siguientes dos imágenes son los resultados de clasificación de un investigador (2014).
Según mi propio entendimiento, el autor hizo las siguientes clasificaciones:
Clasificación según las características del problema:
1. Calidad registral: propiedades registrales
Tipo de registro determinado a partir de datos o características.
Tales como registro de imágenes naturales, registro de imágenes médicas, registro de imágenes de detección remota, etc.
2. Método de adquisición de imágenes
① Análisis de vista múltiple: registro de imagen de registro de vista múltiple
del mismo objeto bajo diferentes ángulos de visión de la misma escena.
Capture imágenes de objetos o escenas similares desde múltiples puntos de vista para obtener una mejor representación del objeto o la escena escaneados. Como el uso de costura de imágenes, la reconstrucción de modelos 3D a partir de imágenes 2D, etc.
②Análisis multitemporal: registro multitemporal
Registro de imagen del mismo objeto en la misma escena en el mismo ángulo de visión en diferentes momentos. Como seguimiento de movimiento, seguimiento de crecimiento tumoral, etc.
③Análisis multimodal: registro multimodal
El registro multimodal es común en el campo de las imágenes médicas, así que tome como ejemplo el registro de imágenes médicas multimodales.
Porque los equipos de imágenes médicas pueden proporcionar información diferente sobre los pacientes con diferentes formas de imágenes (tomografía computarizada TC, resonancia magnética nuclear MRI, tomografía por emisión de positrones PET, resonancia magnética nuclear funcional fMRI, etc.).
El registro basado en imágenes de modalidad única o múltiple se puede dividir en modalidad única y modalidad múltiple.
Registro multimodal MEG-MRI
3. Interacción: interactividad del proceso de registro
manual, semiautomático o automático
4. Dimensionalidad: dimensión del espacio de la imagen
Si solo se considera la dimensión espacial, se puede dividir en 2D/2D, 2D/3D, 3D/3D, etc. Si se consideran factores de series temporales, también existe el problema de registrar dos imágenes extraídas en momentos diferentes.
5. Dominio de transformación: Área de transformación de imagen (registro global/local)
6. Naturaleza de la base de registro: La naturaleza de la base de registro
Según las características y medidas de similitud en las que se basa el algoritmo.
① Registro basado en características internas
Las características intrínsecas se refieren a la información extraída de la propia imagen.
Basado en características: Conjuntos de puntos de características geométricamente significativos que se pueden ubicar (como puntos discontinuos, puntos de giro gráficos, intersecciones de líneas, etc.), o utilizar la segmentación para extraer el contorno de la parte de interés (curva o superficie) como la característica espacio para la comparación. En las imágenes médicas pueden verse puntos de importancia anatómica .
Basado en el valor de píxel (basado en la intensidad): use los píxeles o vóxeles de la imagen completa para formar un espacio de características. De acuerdo con la información estadística de los valores de los píxeles, el cálculo de la medida de similitud se puede dividir en el método de mínimos cuadrados, el método de Fourier, el método de correlación cruzada, el método de información mutua, etc.
② Registro basado en características externas
En imágenes médicas, al fijar marcadores en el paciente o inyectar sustancias en desarrollo en el cuerpo para obtener puntos de marcador definidos en la imagen , se denominan puntos de características externas.
③Registro basado en coordenadas de imágenes de diferentes dispositivos
7. Objeto del registro: Objeto del registro
Tomando como ejemplo el registro de imágenes médicas, se puede dividir en tres tipos: Intrasujeto (imágenes del mismo paciente), Intersubjetivo (de diferentes pacientes) y Atlas (registro de datos del paciente y atlas).
Objeto de registro Objetos de registro : cabeza, pecho, pecho, ojos, abdomen, rodillas, etc...
8. Tipo de transformación: Propiedades de transformación
Clasifique los algoritmos de registro de imágenes según el modelo de transformación utilizado para relacionar el espacio de imagen flotante con el espacio de imagen de referencia. La transformación espacial de imágenes se puede dividir en transformación de cuerpo rígido (rígido) y transformación de cuerpo no rígido (no rígido, deformable) .
El primer tipo de modelo de transformación es una transformación lineal, que incluye rotación, escalado, traslación y otras transformaciones afines. Las transformaciones lineales son de naturaleza global, por lo que no pueden modelar diferencias geométricas locales entre imágenes.
La segunda clase de modelos de transformación permite transformaciones "elásticas" o "no rígidas". Estas transformaciones pueden deformar localmente la imagen flotante para alinearla con la imagen de referencia. Las transformaciones no rígidas incluyen funciones de base radial (placas delgadas o splines de superficie, cuádricas múltiples y transformaciones con soporte compacto), modelos físicos continuos (fluidos viscosos) y modelos de grandes deformaciones (difeomorfismo).
Los modelos de transformación suelen ser paramétricos. Por ejemplo, la transformación de una imagen completa se puede describir mediante un único parámetro (vector de transformación). Estos modelos se denominan modelos paramétricos. Por otro lado, los modelos no paramétricos no siguen ninguna parametrización y permiten el desplazamiento arbitrario de cada elemento de la imagen.
9. Parámetros de Registro: Parámetros del algoritmo
Cuando la característica de comparación tiene la forma de un conjunto de puntos de características, la solución transformada se puede encontrar a través de un sistema de ecuaciones simultáneas.
Pero, en general, el problema de registro se transformará en el problema de resolver el valor óptimo de la medida de similitud.En el método de cálculo, generalmente es necesario usar un algoritmo de optimización iterativo apropiado, como el método de descenso de gradiente, el método de Newton, Powell método, algoritmo genético, etc.
Clasificación según la naturaleza del algoritmo:
1. Registro de imágenes basado en escala de grises
2. Registro de imágenes basado en características
El algoritmo específico de registro de imágenes es un algoritmo basado en una mezcla o variante de estos dos puntos.
0 5
Proceso General de Registro de Imagen
Generalmente, la tecnología de registro de imágenes incluye cuatro aspectos: modelo de transformación, espacio de características, medida de similitud, espacio de búsqueda y estrategia de búsqueda . De acuerdo con estas cuatro características, los pasos del registro de imágenes generalmente se pueden dividir en los siguientes cinco pasos :
1. Seleccione el modelo de transformación apropiado según la aplicación real;
2. Seleccione un espacio de funciones apropiado, basado en la escala de grises o la función;
3. De acuerdo con la configuración de parámetros del modelo de transformación y las características seleccionadas, determine el rango de posibles cambios de parámetros y seleccione la estrategia de búsqueda óptima;
4. Use la medida de similitud para buscar en el espacio de búsqueda de acuerdo con el criterio de optimización, encuentre el punto de correlación máxima y luego resuelva los parámetros desconocidos en el modelo de transformación;
5. Corresponda la imagen a registrar con la imagen de referencia según el modelo de transformación y realice la correspondencia entre imágenes.
Entre ellos, cómo seleccionar las características apropiadas para la coincidencia es la clave para el registro.
Tome como ejemplo el proceso general de registro de imágenes basado en funciones:
Flujo de trabajo general para el registro de imágenes basado en características
1. Detección de funciones: detección de funciones
La detección de características es una tarea importante en el proceso de registro de imágenes. Dependiendo de la complejidad del problema, generalmente se divide en detección manual o automática, pero generalmente se prefiere la detección automática de características.
Los límites cerrados, los bordes, los contornos, las intersecciones de líneas, las esquinas y sus puntos representativos, como los centroides o los extremos de las líneas (denominados colectivamente como puntos de control), se pueden usar como entidades . Estas características compuestas por objetos especiales deben ser fáciles de detectar, es decir, las características serán interpretables e identificables físicamente.
La imagen de referencia debe compartir un conjunto suficientemente grande de características comunes con la imagen flotante para que no se vea afectada por oclusiones desconocidas o cambios inesperados. El algoritmo utilizado para la detección debe ser lo suficientemente robusto como para poder detectar las mismas características en todas las proyecciones de la escena sin verse afectado por ninguna deformación o degradación de la imagen en particular.
2. Coincidencia de características: coincidencia de características
Este paso se basa básicamente en la correspondencia entre la imagen a registrar y las características detectadas en la imagen de referencia.
Además de la relación espacial entre las características, se emplean diferentes descriptores de características y medidas de similitud para determinar la precisión del registro.
Los descriptores de funciones deben configurarse correctamente de modo que permanezcan invariables ante cualquier degradación y, al mismo tiempo, deben ser inmunes al ruido y discriminar correctamente entre diferentes funciones.
3.Estimación del modelo de transformación: evaluación del modelo de transformación de imagen
Para registrar la imagen flotante con la imagen de referencia, es necesario estimar los parámetros de la función de mapeo. Estos parámetros se calculan utilizando las características correspondientes obtenidas del paso anterior.
La elección de la función de mapeo depende del conocimiento previo del proceso de adquisición de imágenes y de la deformación esperada de la imagen. A falta de información previa, debe garantizarse la flexibilidad del modelo.
4. Transformación de imagen/re-muestreo: transformación de imagen
Use el mapa para realizar la transformación de imágenes en imágenes flotantes para el registro.
0 6
Criterios de evaluación de la calidad del registro de imágenes
Debe haber alguna forma de evaluar la precisión y la calidad del registro de imágenes.
Al mismo tiempo, es necesario utilizar diferentes criterios de evaluación para diferentes tipos de imágenes.
Actualmente no existe un estándar de oro absoluto (gold standard) para evaluar la calidad del registro de imágenes.
Tomando como ejemplo las imágenes médicas, se enumeran los siguientes dos métodos de evaluación más clásicos:
El registro de imágenes de modo único a menudo usa correlación (Coeficiente de correlación, CC) para medir el efecto; el registro de imágenes multimodal a menudo usa información mutua (Información mutua, MI) para medir.
1. Relevancia
La correlación es esencialmente una medida de similitud que aprende cuán similar es la imagen flotante a la imagen de referencia. Si las dos imágenes son exactamente iguales, la correlación es igual a 1; y si las dos imágenes están completamente descorrelacionadas, el valor de correlación es igual a 0; si el valor de correlación es igual a -1, significa que las imágenes son completamente anticorrelacionado, lo que significa que una imagen es el negativo del otro. Se pueden obtener resultados satisfactorios para el registro unimodal utilizando la correlación como criterio de evaluación.
Para la secuencia de imágenes generada por el mismo objeto debido a diferencias en las condiciones de adquisición de imágenes o pequeños cambios en el propio objeto, se utiliza el principio de maximizar la similitud entre imágenes para lograr el registro de imágenes, es decir, optimizando el criterio de similitud entre dos imágenes. Estimar los parámetros de transformación, principalmente la traslación y rotación del cuerpo rígido. La correlación se limita principalmente al registro de imágenes unimodales, en particular, la comparación de series de imágenes para detectar pequeños cambios causados por enfermedades.
Se expresa como:
x_i , y_i son la intensidad del i-ésimo píxel de la imagen flotante y la imagen de referencia respectivamente;
x_m , y_m son las intensidades medias de la imagen flotante y la imagen de referencia.
2. Información mutua
La información mutua es otra medida que determina la similitud entre las intensidades de imagen de los vóxeles correspondientes en dos imágenes. La información mutua se maximiza cuando dos imágenes se alinean con precisión. El valor de la información mutua es no negativo y simétrico. Su rango comienza en cero y puede variar a valores altos. Un alto valor de información mutua indica una gran reducción en la incertidumbre, mientras que un valor de cero información mutua indica claramente que las dos variables son independientes.
Dado que este método no requiere ninguna suposición sobre la naturaleza de la relación entre las intensidades de la imagen en los dos modos de imagen, ni requiere segmentación ni ningún procesamiento previo de la imagen, se usa ampliamente en CT/MR, PET/MR y otras imágenes. métodos listo para trabajar. El método de máxima información mutua se puede utilizar en el registro de casi cualquier imagen en diferentes modos, especialmente cuando falta la parte de datos de una de las imágenes, también puede obtener un buen efecto de registro.
p(x, y) es la función de distribución conjunta, p_1(x), p_2(y) es la función de distribución marginal.
La pérdida de DICE [5] en el campo de la segmentación de imágenes, el coeficiente de correlación de entropía (ECC) y otros indicadores se utilizan a menudo para la evaluación.
0 7
trabajo previo
1. Método clásico
"Tecnología de registro de imágenes y su implementación de programación MATLAB"
Métodos de registro de imágenes: una encuesta
Técnicas de registro de imágenes: una encuesta
Registro de imágenes médicas deformables: una encuesta
2. Investigaciones relacionadas
Registro de imágenes médicas (Referencia: Profundizando en el análisis de imágenes médicas: conceptos, métodos, desafíos y direcciones futuras)
Enlace del artículo:
[1]https://arxiv.org/pdf/1902.05655.pdf
[2]https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
Artículos de revisión relacionados:
Métodos de registro de imágenes: una encuesta
Técnicas de registro de imágenes: una encuesta
Registro de imágenes médicas de corte a volumen: una encuesta
Una encuesta sobre el aprendizaje profundo en el análisis de imágenes médicas
Tecnología de registro de imágenes médicas_Luo Shuqian
Artículos fronterizos relacionados:
Aprendizaje profundo en el registro de imágenes médicas: una encuesta
Una encuesta sobre el aprendizaje profundo en el análisis de imágenes médicas
Aprendizaje profundo en análisis de imágenes médicas
Un nuevo método de selección de características de regularización relacional para regresión conjunta y clasificación en el diagnóstico de EA
Una revisión de la generación de tomografía computarizada sustituta de la radioterapia con resonancia magnética solamente
CNN 3D multiescala eficiente con CRF totalmente conectado para una segmentación precisa de lesiones cerebrales
El desafío de mapear el conectoma humano a partir de la tractografía de difusión
0 8
Herramientas de código abierto relacionadas
Herramientas clásicas de los métodos tradicionales:
Material presentado en ITK Tutorials
MeVisLab
MATLAB
Bai Xiaoyu: [Xiao Baixiang] Introducción y comparación de los métodos de registro de imágenes de MATLAB (https://zhuanlan.zhihu.com/p/64182180)
Técnicas de registro de imágenes utilizando MATLAB（https://ww2.mathworks.cn/discovery/image-registration.html）
Registro de imágenes de resonancia magnética multimodal con Matlab.（https://ww2.mathworks.cn/help/images/registering-multimodal-mri-images.html）
elastix: una caja de herramientas para el registro rígido y no rígido de imágenes.（https://elastix.lumc.nl/）
niftyreg: una caja de herramientas para realizar registros de imágenes rígidos, afines (mediante la coincidencia de bloques) y no rígidos casi en tiempo real (mediante una versión refactorizada del algoritmo de deformación de forma libre).（https://sourceforge.net/projects/niftyreg /）
Pitón:
VoxelMorph: un marco de aprendizaje para el registro de imágenes médicas deformables (https://paperswithcode.com/paper/voxelmorph-a-learning-framework-for)
Quicksilver: registro rápido de imágenes predictivas: un enfoque de aprendizaje profundo (https://paperswithcode.com/paper/quicksilver-fast-predictive-image)
AirLab: laboratorio de registro de imágenes de Autograd（https://paperswithcode.com/paper/airlab-autograd-image-registration-laboratory）
Para otras herramientas de código abierto relacionadas, consulte:
Documentos con código: registro de imágenes (https://paperswithcode.com/task/image-registration)
0 9
conjunto de datos
Base de datos abierta de imágenes médicas:
https://github.com/sfikas/medical-imaging-datasets
Base de datos de registro público y su análisis oficial de resultados:
registro de RM y ultrasonido MICCAI 2018, 2019: proud2019 - Grand Challenge (https://curious2019.grand-challenge.org/)
Registro de Imagen Patológica ISBI 2019: ANHIR - Grand Challenge (https://anhir.grand-challenge.org/)
arxiv: 1904.10535（https://arxiv.org/ftp/arxiv/papers/1904/1904.10535.pdf）
Automatic_Non-rigid_Histological_Registration_challenge (https://www.researchgate.net/publication/332428245_Automatic_Non-rigid_Histological_Image_Registration_challenge)
Referencias (deslice hacia abajo para ver los detalles)
[1] Registro de imagen wiki https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
[2] Introducción al registro de imágenes https://blog.csdn.net/carson2005/article/details/38757379
[3] Técnicas de registro de imágenes Una encuesta 28 de noviembre de 2017. 1712.07540
[4] Tecnología de registro de imágenes médicas_Luo Shuqian
[5] Coeficiente DICE https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
[6] Profundizando en el análisis de imágenes médicas: conceptos, métodos, desafíos y direcciones futuras https://arxiv.org/pdf/1902.05655.pdf
[7]https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
Fuente de este artículo | https://zhuanlan.zhihu.com/p/80985475
Autor | Bai Xiaoyu
Este artículo es solo para uso académico. Si hay alguna infracción, comuníquese para eliminar el artículo.
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~