MSA【1】：Segmentar cualquier modelo para análisis de imágenes médicas: un estudio experimental

---

prefacio

Este artículo presenta principalmente el trabajo anterior de evaluación de SAM en el campo de las imágenes médicas después de que Segment Anything Model haya logrado logros notables en el campo de la segmentación de imágenes naturales.

Enlace del artículo original: Modelo Segment Anything para análisis de imágenes médicas: un estudio experimental

---

1. Abstracción e introducción

1.1. Abstracción

Segment Anything Model (SAM)es un modelo base entrenado en más de mil millones de anotaciones (principalmente imágenes naturales) diseñado para segmentar interactivamente objetos de interés definidos por el usuario. A pesar del impresionante rendimiento del modelo en imágenes naturales, no está claro cómo se vería afectado el modelo cuando se recurra al dominio de las imágenes médicas.

Este artículo SAMpresenta una evaluación extensa de la capacidad de segmentar imágenes médicas en 11 conjuntos de datos de imágenes médicas de diferentes modalidades y anatomías. Los estudios han demostrado que SAMel rendimiento de , varía según la tarea y el conjunto de datos, con un rendimiento impresionante en algunos conjuntos de datos pero de pobre a moderado en otros.

1.2. Introducción

Desarrollar y entrenar modelos de segmentación para nuevos datos y tareas de imágenes médicas es realmente un desafío porque recopilar y curar imágenes médicas es costoso y requiere mucho tiempo, y requiere que médicos experimentados proporcionen anotaciones de máscara cuidadosas en las imágenes. Los modelos base y el aprendizaje de disparo cero pueden reducir significativamente estas dificultades mediante el uso de redes neuronales entrenadas con grandes cantidades de datos sin utilizar etiquetas de entrenamiento supervisadas tradicionales.

1.2.1. ¿Qué es SAM?

Segment Anything Modeles un modelo de segmentación cuyo propósito es segmentar un objeto de interés definido por el usuario cuando se le solicita. Las sugerencias pueden tener la forma de un punto, un conjunto de puntos (incluida la máscara completa), un cuadro delimitador o texto. Se requiere que el modelo devuelva máscaras de segmentación válidas incluso cuando la sugerencia sea ambigua.

Para obtener una introducción al modelo Segment Anything, consulte mi otro blog: SAM [1]: Segment Anything

1.2.2. ¿Cómo segmentar imágenes médicas con SAM?

Es técnicamente SAMposible ejecutarlo sin indicaciones, pero no se espera que sea útil en imágenes médicas. Esto se debe a que las imágenes médicas suelen tener muchos objetos de interés específicos en la imagen y es necesario entrenar modelos para reconocer estos objetos.

---

2. Metodología

2.1. SAM se utiliza en el proceso de segmentación de imágenes médicas.

2.1.1. Anotación semiautomática

Anotar manualmente imágenes médicas es uno de los principales desafíos en el desarrollo de modelos de segmentación en este campo, ya que a menudo requiere que los médicos dediquen un tiempo valioso. En este caso, SAMse puede utilizar como herramienta para acelerar el etiquetado.

En el caso más simple, un usuario humano SAMproporciona una pista para , lo que SAMgenera una máscara para la aprobación o modificación del usuario; en otro enfoque, SAMla pista se da como una cuadrícula a través de la imagen y se generan máscaras para múltiples objetos, a los que luego se les puede nombrar. , seleccionado o modificado por el usuario.

2.1.2. SAM ayuda a otros modelos de segmentación

SAMSegmenta imágenes automáticamente junto con otro algoritmo para compensar la SAMincapacidad de comprender la falta de información semántica de los objetos segmentados. Por ejemplo, SAMbasándose en señales puntuales distribuidas en una imagen, se pueden generar múltiples máscaras de objetos, que luego se clasifican como objetos específicos mediante un modelo de clasificación independiente. Del mismo modo, un modelo de detección independiente puede generar cuadros delimitadores de objetos para imágenes como SAMseñales para generar máscaras de segmentación precisas.

Además, en el proceso de entrenamiento del modelo de segmentación semántica, se puede SAMutilizar cíclicamente con el modelo de segmentación semántica. Por ejemplo, durante el entrenamiento, las máscaras generadas por un modelo de segmentación en imágenes sin etiquetar se pueden usar como SAMsugerencias para generar máscaras más precisas para esas imágenes, que se pueden usar como una mejora iterativa del modelo que se está entrenando con un ejemplo de entrenamiento supervisado.

2.1.3. Nuevos modelos de segmentación de bases de imágenes médicas.

El proceso de desarrollo de nuevos modelos de segmentación basados ​​en imágenes médicas puede SAMguiarse por el proceso de desarrollo de; alternativamente, el ajuste de imágenes médicas y máscaras de diversos dominios de imágenes médicas SAM, en lugar de entrenar desde cero, ya que esto puede requerir menos imágenes.

2.2. experimentos

2.2.1. Ajustes

SAMLa evaluación se realiza creando una o más señales para cada objeto y evaluando la precisión de las máscaras generadas en relación con las anotaciones de máscara de verdad sobre el terreno para un conjunto de datos y una tarea determinados. Mientras tanto, siempre utilizamos la máscara más segura generada por SAM para una pista determinada.

Elija mIoUcomo métrica de evaluación. Sin embargo, los estudios empíricos han demostrado que SAMel rendimiento de A puede variar mucho entre diferentes categorías de la misma imagen. Por lo tanto, este artículo Ntransforma el problema de predicción de clases múltiples de n categorías en Nun problema de clasificación binaria, por lo que IoUes suficiente usar t como métrica de evaluación final.

2.2.2. Esquema de generación de puntos rápidos

Este documento utiliza una estrategia general e intuitiva para simular la generación de sugerencias de puntos realistas, que refleja cómo los usuarios pueden generar sugerencias de forma interactiva. Los detalles de implementación se muestran en la siguiente figura:

Generar lógica:

• Principalmente simula el pensamiento de las personas al seleccionar puntos: al seleccionar puntos, los usuarios generalmente eligen puntos del centro del lugar más obviamente incorrecto o más correcto, lo que en teoría puede cubrir la parte que los usuarios necesitan tanto como sea posible.
• Pon el primer punto de referencia $p1$ se inicializa en el punto más alejado del fondo en el primer plano de la máscara
  • Es decir, el primer punto de referencia $p1$ es un mensaje positivo
  • Cabe señalar que SAMse requiere un mensaje positivo para determinar el objeto que se va a segmentar, por lo que SAMel primer mensaje de punto pasado debe ser un mensaje positivo.
• Por la fórmula $PAG=argmáx\_\_{}_{(yo,j}(re[(yo,j),(k,l)])$ para obtener un conjunto de puntos que cumplan las condiciones anteriores
• Seleccione aleatoriamente un punto calificado del punto calificado anterior establecido como primera entrada
• Ingrese las coordenadas del mensaje de punto SAMpara obtener una máscara con la puntuación de predicción más alta $Y_{}$
• Obtenga la región donde la predicción es incorrecta: ${mi}_{}=Y_{}\cup METRO-Y_{}\cap METRO$
  • $Y_{}\cup M$ : La unión del área cubierta por la máscara predicha en la máscara original y el punto de primer plano establecido
  • $Y_{}\cap M$ : la intersección del área cubierta por la máscara predicha en la máscara original y el conjunto de puntos de primer plano
  • ${mi}_{}$: La máscara predicha y la parte del conjunto de puntos de primer plano que no se predicen correctamente, es decir, el área de error predicha
• El siguiente mensaje de punto es el área de error de actualización iterativa de distancia ${mi}_{}$punto más alejado de la frontera
  • SAMSolo se puede aceptar un mensaje de punto a la vez y se devuelve una máscara de predicción, es decir, varios mensajes de punto son SAMun proceso de iteración de entrada sobre la base de cada máscara de predicción de salida.
  • Cada iteración obtiene una región de error ${mi}_{}$El conjunto de puntos más alejados del límite.
  • Seleccione aleatoriamente un punto del punto establecido como entrada
  • Obtenga SAMla salida prevista de
  • Actualizar región de error de pronóstico
• Obtenga el resultado final de la predicción

---

Resumir

Este artículo se SAMbasa principalmente en la propuesta y SAMevalúa si se puede aplicar en la segmentación de imágenes médicas. Para conjuntos de datos y resultados específicos, consulte el gráfico de resultados en el artículo original.

Esta nota se centra en SAMla aplicación en la segmentación de imágenes médicas y el aprendizaje y comprensión del ajuste fino, y al mismo tiempo analiza y registra el algoritmo de generación de indicaciones de puntos propuesto en este artículo con mayor eficiencia y hábitos de selección de puntos de usuario más simulados.

Pero al mismo tiempo, este artículo no estudia conjuntos de datos 3D, pero los datos 3D son muy comunes en el campo de las imágenes médicas, lo que también será una dirección clave para futuras investigaciones.