¿Cómo funciona la rama de detección y reidentificación en el algoritmo de seguimiento de objetivos?

¿Cómo funciona la rama de detección y reidentificación en el algoritmo de seguimiento de objetivos basado en aprendizaje profundo?

Los algoritmos de seguimiento de objetos basados ​​en aprendizaje profundo suelen dividirse en dos ramas: rama de detección y rama de reidentificación. La función de estas dos ramas es extraer las características del objetivo del cuadro de video y realizar coincidencias y seguimiento.

La rama de detección generalmente usa un algoritmo de detección de objetivos (como Faster R-CNN, YOLO, etc.) para detectar el objetivo en la imagen y generar la información de posición y tamaño del objetivo. Esta información se utiliza para determinar la ubicación y el cuadro delimitador del objeto.

La rama de reidentificación generalmente usa modelos de aprendizaje profundo (como la red siamesa, la red triplete, etc.) para aprender la representación de características del objetivo. Dadas dos imágenes objetivo, la rama de reidentificación puede calcular la similitud o la distancia entre ellas. La función principal de esta rama es hacer coincidir el mismo objetivo entre diferentes marcos para rastrear el objetivo.

En el seguimiento de objetos real, la rama de detección y la rama de reidentificación generalmente se ejecutan alternativamente. Primero, la rama de detección se usa para detectar el objetivo y obtener su información de ubicación, y luego la rama de reidentificación se usa para calcular las características del objetivo y realizar la comparación y el seguimiento. Durante el proceso de seguimiento, la rama de reidentificación se puede utilizar para determinar si el objetivo aparece en el cuadro actual y actualizar su información de posición. Si el objeto no se detecta en el cuadro actual, la rama de detección se utilizará para volver a detectar el objeto.

En general, la rama de detección y la rama de reidentificación juegan un papel muy importante en el seguimiento de objetos. La rama de detección es responsable de detectar el objetivo, determinar su posición e información de tamaño , y la rama de reidentificación es responsable de aprender la representación característica del objetivo y hacer coincidir el mismo objetivo entre diferentes marcos para realizar la función de seguimiento del objetivo. . Las dos ramas cooperan entre sí para lograr la tarea de seguimiento de objetos.

¿Cómo se ejecutan alternativamente la rama de detección y la rama de reidentificación, por ejemplo, darle una secuencia de video, describirla desde la entrada hasta la salida?

Supongamos que tenemos una secuencia de video que contiene múltiples cuadros (imágenes) y necesitamos rastrear objetos en ella. La siguiente es la operación alternativa de la rama de detección y la rama de reidentificación en el proceso de rastreo:

Ingrese el primer cuadro en la secuencia de video, realice la detección de objetivos a través de la rama de detección y determine la información de posición y tamaño del objetivo.

Utilice la rama de reidentificación para conocer la representación de características del objeto y guardar las características del objeto en el rastreador.

Para el siguiente cuadro, los objetos se detectan primero usando la rama de detección. Si se detecta un objeto, la rama de reidentificación se usa para calcular la distancia entre el objeto y las características del objeto del marco anterior para determinar si el objeto es el mismo. Si los objetivos son los mismos, utilice la rama de reidentificación para actualizar la información de posición de los objetivos.

Si no se detecta ningún objeto en el cuadro siguiente, la rama de detección se usa para volver a detectar el objeto para determinar la nueva información de ubicación y tamaño del objeto.

Repita los pasos 3 y 4 hasta que se hayan procesado todos los fotogramas de la secuencia de vídeo.

En general, la rama de detección y la rama de reidentificación se ejecutan alternativamente para rastrear el objetivo. En cada cuadro, la rama de detección se usa para detectar el objetivo y obtener su información de ubicación, y la rama de reidentificación se usa para calcular la representación de características del objetivo y realizar la comparación y el seguimiento. Este método de operación alternativo puede realizar un seguimiento eficaz del objetivo y garantizar la precisión y solidez del seguimiento.

Dígame nuevamente, ¿qué debo hacer si el objetivo se detecta en el siguiente cuadro? ¿Qué debo hacer si no se detecta el objetivo?

Si se detecta un objeto en el cuadro siguiente:

1. Primero, use la rama de detección para detectar el objetivo en el siguiente cuadro para obtener la información de posición del objetivo.
2. La rama de reidentificación se usa luego para calcular la representación de características del objeto en el siguiente cuadro.
3. Utilice la rama de reidentificación para hacer coincidir el objetivo que se ha rastreado en el marco anterior con el objetivo en el siguiente marco para determinar si es el mismo objetivo.
4. Si se considera que es el mismo objetivo, utilice la rama de reidentificación para actualizar la información de posición del objetivo.

Si no se detecta ningún objeto en el cuadro siguiente:

1. Use la rama de detección para detectar el objetivo nuevamente en el siguiente cuadro y determine la nueva información de posición y tamaño del objetivo.
2. Luego use la rama de reidentificación para hacer coincidir el objetivo que se ha rastreado en el marco anterior con el objetivo en el siguiente marco para determinar si es el mismo objetivo.
3. Si se considera que es el mismo objetivo, utilice la rama de reidentificación para actualizar la información de posición del objetivo.
4. Si aún no se detecta el objetivo en el cuadro siguiente, se considera que el objetivo ha desaparecido y finaliza el seguimiento del objetivo.

En general, la rama de detección y la rama de reidentificación cooperan entre sí en el seguimiento de objetos. La rama de detección es responsable de detectar el objetivo, determinando la información de posición y tamaño del objetivo, y la rama de reconocimiento es responsable de aprender la representación de características del objetivo y hacer coincidir el mismo objetivo entre diferentes marcos para realizar la función de rastrear el objetivo. Cuando se detecta el objetivo, la rama de reidentificación hará coincidir el objetivo entre diferentes marcos para determinar si el objetivo es el mismo y actualizar su información de posición; si no se detecta el objetivo, lo volverá a detectar. Este método de operación alternativo puede realizar un seguimiento eficaz del objetivo y garantizar la precisión y solidez del seguimiento.

¿En qué consiste el proceso de reidentificación de peatones?

La reidentificación de peatones se refiere al proceso de identificación del mismo peatón en diferentes cámaras de vigilancia. El proceso general de reidentificación de peatones es el siguiente:

1. Preparación del conjunto de datos: Primero, se debe preparar un conjunto de conjuntos de datos de imágenes de peatones etiquetados. Estas imágenes deben contener tantos peatones como sea posible en diferentes ángulos, poses, ropa, iluminación y otros cambios.

2. Extracción de características de peatones: extraiga vectores de características de imágenes de peatones utilizando modelos de aprendizaje profundo, como redes neuronales convolucionales. Los modelos de extracción de características comúnmente utilizados incluyen ResNet, Inception, DenseNet, etc.

3. Aprendizaje de representación de características: use un algoritmo de aprendizaje de representación de características (como pérdida de triplete) para entrenar el modelo, de modo que los vectores de características del mismo peatón estén más cerca en el espacio de características y los vectores de características de diferentes peatones estén más lejos en la característica. espacio.

4. Medida de similitud: cuando se ingresa una nueva imagen de peatón, su vector de características se compara con el vector de características existente en la base de datos y se calcula la similitud o la distancia entre ellos. Generalmente se utilizan métricas comunes como la similitud del coseno o la distancia euclidiana.

5. Juicio de coincidencia: después de comparar el vector de características de la imagen peatonal de entrada con el vector de características existente en la base de datos, el juicio de coincidencia se realiza de acuerdo con el umbral de similitud o distancia. Si la similitud o la distancia entre la imagen del peatón de entrada y el vector de características de un determinado peatón en la base de datos está dentro de un cierto umbral, se considera que representan al mismo peatón.

6. Fusión de múltiples perspectivas: en aplicaciones prácticas, a menudo es necesario usar varias cámaras de vigilancia al mismo tiempo para la reidentificación de peatones. En este momento, los vectores de características extraídos por múltiples cámaras se pueden usar para la fusión, mejorando así la precisión y la solidez del reconocimiento.

Lo anterior es el proceso básico de reidentificación peatonal. Debido a los diferentes detalles de implementación y selección de algoritmos de cada paso, el sistema real de reidentificación de personas será diferente.